Языковая модель выдумывает источники убедительнее, чем любой человек. Она порождает правдоподобное имя автора, правдоподобное название работы, правдоподобный год и правдоподобный номер страницы — потому что все эти элементы она видела в обучающих данных миллионы раз, просто не в этом сочетании.
Обнаруживается это в момент, когда кто-то пытается открыть вашу ссылку. Иногда — рецензент.
#Зачем это нужно и когда не нужно
Нужно, если ваш результат опирается на источники и кто-то будет их проверять. Не нужно, если вы работаете с собственными данными и не цитируете чужое: тогда риск другой и решается иначе.
#Что понадобится
- Место, где заметки хранятся вместе с указанием происхождения каждого факта.
- Правило, которое вы согласны соблюдать без исключений (см. ниже).
- Пятнадцать минут в неделю на проверку накопленных ссылок.
#Правило: факт не существует без происхождения
Формулировка одна, и в ней нет оговорок:
Ни один факт не попадает в вашу заметку без записанного источника — включая номер страницы или точную цитату.
Не «желательно указать источник», а «факт без источника — это не факт, а гипотеза, и помечать его надо соответственно».
Правило кажется избыточным ровно до первого случая, когда вы находите у себя в заметках утверждение полугодичной давности и не можете вспомнить, откуда оно. Дальше начинается археология: либо вы тратите час на поиск, либо выбрасываете утверждение, либо — худший вариант — оставляете его, потому что «вроде читал».
#Схема провенанса факта
Что должно быть записано вместе с каждым утверждением.
| Поле | Что туда идёт | Зачем |
|---|---|---|
| Утверждение | своими словами, коротко | это то, что вы будете искать |
| Точная цитата | дословно, в кавычках | защита от искажения при пересказе |
| Источник | автор, работа, год | идентификация |
| Локатор | страница, раздел, отметка времени | чтобы проверить за минуту, а не за час |
| Как получено | прочитал сам / нашёл через ассистента | разный уровень доверия |
| Статус | проверено / не проверено | до проверки факт не используется |
Два поля здесь нестандартные и самые полезные.
«Как получено». Факт, который вы прочитали в источнике своими глазами, и факт, который вам назвал ассистент, — разного качества, и через полгода вы этого не вспомните. Разделяйте сразу.
«Статус». Пока стоит «не проверено», утверждение не идёт в текст. Это единственный механизм, который реально останавливает выдуманные ссылки: не бдительность, а формальный флаг.
#Шаг 1. Настройте запрос так, чтобы модель не выдумывала
Формулировка запроса меняет частоту выдумок сильнее, чем выбор модели.
Что работает:
- Явное разрешение не знать. «Если источника нет — скажи, что не знаешь» снижает долю выдуманного, потому что модель перестаёт считать отсутствие ответа неудачей.
- Требование цитаты, а не пересказа. Дословную цитату выдумать сложнее, чем название работы.
- Запрет на источники вне предоставленного материала. Если вы дали текст, требуйте отвечать только по нему.
- Разделение вопросов. «Что известно по теме» и «дай ссылки» — два разных запроса; во втором модель охотнее признаётся, что ссылок нет.
Чего не работает: фраза «не выдумывай». Она не управляет тем механизмом, который порождает выдумки. Природа явления разобрана в справке про галлюцинации ИИ.
#Шаг 2. Работайте с подстановкой источников, а не с памятью модели
Принципиальный переход: не спрашивать модель о том, что она «знает», а давать ей материалы и требовать ответ по ним.
Это меняет природу задачи. Модель перестаёт быть источником и становится инструментом чтения: она находит нужное место в вашем корпусе и цитирует его. Проверить такой ответ можно за минуту — открыв указанное место. Как устроен этот механизм, разобрано в статье что такое RAG простыми словами, а практическая сборка рабочего процесса вокруг источников — в разборе ИИ для исследования и работы с источниками.
Оговорка, которую делают редко: подстановка источников снижает частоту выдумок, но не устраняет их. Модель может неверно пересказать поданный фрагмент или соединить два фрагмента в утверждение, которого нет ни в одном.
#Шаг 3. Ведите заметки так, чтобы провенанс не терялся
Главная утечка происходит не при записи, а при переписывании. Вы конспектируете источник, потом делаете сводку по теме, потом пишете текст — и на третьем шаге ссылка уже потеряна.
Практическое решение: не переписывайте утверждение без переноса его провенанса. Если сводка компилируется из пяти заметок, в ней должно остаться пять указаний на источники, а не одно общее «по литературе».
Почему это стоит закладывать в структуру хранения, а не в дисциплину, разобрано в статье про то, зачем нужен провенанс в памяти.
#Чек-лист проверки цитаты
Пять пунктов, до прохождения которых статус остаётся «не проверено».
- Источник существует. Автор, название и год сходятся с реальной работой, а не с правдоподобной комбинацией.
- Цитата есть в тексте. Дословно. Поиск по документу, а не «похоже на правду».
- Локатор верен. Страница или раздел совпадают: сдвиг на десять страниц — признак того, что номер выдуман.
- Смысл не искажён контекстом. Фраза, вырванная из абзаца, где автор её опровергает, — самый частый вид честной ошибки.
- Источник говорит то, что вы ему приписываете. Не «связано с темой», а именно подтверждает ваше утверждение.
Пункты 4 и 5 не автоматизируются: их проходит человек, читая окрестности цитаты.
#Проверка результата
- В ваших заметках нет утверждений со статусом «не проверено», попавших в текст.
- Любую ссылку вы открываете и подтверждаете за минуту, а не ищете полчаса.
- Вы можете сказать про каждый факт, читали ли вы источник сами.
- Сводки сохраняют ссылки на исходные заметки, а не обобщают их в «по литературе».
#Что может пойти не так
- Провенанс теряется при пересказе. Самая частая и самая тихая поломка. Лечится правилом из шага 3.
- Модель пересказывает поданный фрагмент неточно. Подстановка источников не устраняет искажения. Сверяйте цитату с оригиналом, а не с ответом.
- Проверка откладывается «на потом». Через месяц непроверенных утверждений столько, что проверять их вы не станете. Пятнадцать минут в неделю — рабочий режим.
- Ассистент уверенно подтверждает ваш вывод. Модель склонна соглашаться с формулировкой вопроса. Спрашивайте «какие данные противоречат этому», а не «подтверждается ли это».
- Компактная локальная модель хуже держит длинный источник. Это ожидаемо: она объективно слабее топовой облачной. Для поиска по своим заметкам её хватает, для разбора длинных текстов держите рядом сильную модель.
- Чувствительные материалы уходят провайдеру. При облачной модели текст запросов уходит именно этому провайдеру — Persona запросы не проксирует. Для неопубликованных данных это решается локальной моделью.
Как ловить ситуацию, когда ошибочный факт уже попал в память и начал воспроизводиться, — в статье про галлюцинации памяти.
#Частые вопросы
#Почему модель выдумывает ссылки, если знает много настоящих?
Потому что она порождает правдоподобный текст, а не извлекает записи из базы. Имя автора, название и год — элементы, которые она видела тысячи раз; собрать из них новое правдоподобное сочетание для неё так же естественно, как воспроизвести настоящее.
#Помогает ли просьба «указывать только реальные источники»?
Немного, но полагаться на неё нельзя: она не меняет механизм. Работает другое — подстановка ваших материалов и требование дословной цитаты, которую можно найти поиском по тексту.
#Можно ли доверять ассистенту пересказ статьи?
Как черновику — да, как источнику — нет. Пересказ проверяется по оригиналу, особенно в местах, где формулировка звучит удобно для вашей гипотезы: именно там чаще всего теряется оговорка автора.
#Что делать с неопубликованными данными?
Не отправлять их облачной модели. Локальная модель решает вопрос по существу, ценой того, что она слабее в сложных задачах. Промежуточный вариант — работать с обезличенными фрагментами.
#Сколько времени занимает ведение провенанса?
Секунды при записи и минуты при проверке — если делать сразу. Восстановление потерянного провенанса занимает часы, и именно поэтому правило формулируется без исключений. Общая рамка того, что даёт ассистент, знающий ваш контекст, — в разборе что такое личный ИИ.
#Стоит ли использовать ассистента для обзора литературы?
Для навигации — да: он помогает найти, что читать, и удержать прочитанное. Для составления списка литературы без проверки — категорически нет. Разница в том, кто отвечает за существование источника, а отвечаете вы.
#Вывод
Единственная защита от выдуманных источников — не бдительность, а формальное правило: факт без записанного происхождения не считается фактом и не попадает в текст.
Технически это принуждается двумя вещами: полем «статус» в заметке, которое блокирует использование до проверки, и требованием переносить провенанс при каждом пересказе. Всё остальное — выбор модели, формулировка запроса, подстановка источников — снижает частоту выдумок, но не отменяет проверку. Проверять придётся вам, потому что отвечать за ссылку тоже вам.