Галлюцинация — это уверенно сформулированное утверждение модели, которое не соответствует действительности. Слово прижилось неудачное: оно намекает на сбой, будто обычно модель извлекает факты, а иногда сбоит. Устроено наоборот. Модель всегда делает одно и то же — порождает правдоподобное продолжение текста. Когда правдоподобное совпадает с верным, мы называем это ответом. Когда не совпадает — галлюцинацией. Изнутри модели эти два случая неразличимы.
#Четыре типа выдумок, которые встречаются чаще всего
- Выдуманный факт. Дата, цифра, должность, характеристика. Опаснее всего в форме, где всё остальное верно: девять правильных пунктов и один придуманный.
- Выдуманный источник. Название статьи, автор, ссылка, номер закона, идентификатор публикации. Выглядит образцово: правильный формат, правдоподобный журнал, несуществующая работа.
- Выдуманный интерфейс. Метод API, ключ конфигурации, флаг командной строки, функция библиотеки. Модель достраивает то, что «должно было бы существовать» по аналогии с соседними.
- Смещённая атрибуция. Факт верный, но приписан не тому человеку, не той компании или не тому году. Самый трудный для обнаружения тип: проверка «а был ли такой факт» проходит успешно.
#Признаки, по которым стоит насторожиться
- Ответ содержит точные числа и даты там, где вопрос был общим, и при этом ни одной оговорки.
- Названы источники, но не названы способы их найти — либо ссылка ведёт в никуда.
- При переформулировке вопроса ответ меняется по существу, а не по форме.
- Речь идёт о событиях после даты обучения модели, а модель об этом не упоминает.
- Тема узкая и локальная: региональное законодательство, внутренние регламенты, малоизвестные продукты.
Самый дешёвый способ проверки — задать тот же вопрос дважды, в разных формулировках и в разных чатах. Устойчивый факт воспроизводится, выдуманный плывёт. Способ не даёт гарантии: модель может ошибаться устойчиво.
#Где путают
Заблуждение первое: галлюцинации лечатся большой моделью. Крупные модели ошибаются реже и формулируют осторожнее, но природа явления не меняется. Более того, чем лучше модель пишет, тем убедительнее выглядит её выдумка.
Заблуждение второе: RAG устраняет галлюцинации. Подмешивание найденных документов резко снижает долю выдумок по темам, которые есть в архиве, но создаёт новый риск: если поиск подложил не тот фрагмент, модель уверенно ответит неверно и приложит ссылку. Ответ со ссылкой на реальный, но нерелевантный документ проверяется реже, чем ответ без ссылок. Как это выглядит в системе с памятью и как это ловить — разобрано в тексте про галлюцинации памяти.
Заблуждение третье: модель знает, когда она не знает. Не знает. Фраза «я не уверен» — такой же сгенерированный текст, как и всё остальное, и она не связана с внутренней оценкой достоверности. Обученная быть полезной модель скорее ответит, чем откажется.
Заблуждение четвёртое: если указать источник, ответ проверен. Нет. Отслеживание происхождения факта — свойство системы вокруг модели, а не самой модели; зачем оно нужно и как устроено, разобрано в тексте про provenance в памяти.
#Частые вопросы
#Почему модель придумывает ссылки на статьи, которых нет?
Потому что она порождает текст по форме, а форма библиографической ссылки очень регулярна: фамилия, год, название, журнал. Составить правдоподобную ссылку модели легче, чем вспомнить настоящую. Как проверять источники на практике — в разборе работы с источниками при исследовании.
#Помогает ли фраза «отвечай только если уверен»?
Немного помогает: она смещает стиль ответа в сторону осторожности и увеличивает долю отказов. Но она не даёт модели доступа к проверке фактов, поэтому уверенно сформулированная выдумка всё равно возможна.
#Локальная модель галлюцинирует чаще облачной?
Как правило, чаще — небольшая локальная модель объективно слабее топовой облачной в фактических вопросах. Её преимущество в другом: она работает с вашим контекстом и не отправляет запросы наружу, а не в «сыром» знании о мире.
#Можно ли запретить модели выдумывать техническими средствами?
Полностью — нет. Частично — да, внешними ограничителями: проверкой ответа по справочнику, схемой вывода, обязательной ссылкой на источник. Как устроен этот слой, описано в справке про ограничители поведения модели.
Остальные термины — в глоссарии терминов ИИ.