Про выдуманные ссылки знают все, и защита от них тривиальна: откройте — не открылось, выбросили. Такая ошибка громкая, ловится за секунду и обходится дёшево.
Дорого обходится другой класс, о котором говорят мало. Ссылка рабочая, страница настоящая, автор существует — но утверждение, которое ей приписали, на этой странице отсутствует. Оно там либо сформулировано с оговорками, которые всё меняют, либо относится к другому случаю, либо является не выводом, а гипотезой, которую источник как раз опровергает. Такая ошибка проходит все поверхностные проверки, попадает в вашу заметку и живёт там годами.
Отсюда рабочая установка: проверяется не существование источника, а соответствие источника утверждению.
#Что понадобится
- Готовность тратить на проверку больше времени, чем на получение ответа. Это нормальное соотношение в исследовательской работе, а не признак плохого инструмента.
- Доступ к самим источникам, а не к их описаниям. Пересказ источника — это не источник.
- Место, где рядом с фактом хранится его происхождение. Зачем это нужно и как устроено — в статье про провенанс в памяти.
#Шаг 1. Разделите три вида утверждений
Прежде чем проверять, разберите ответ модели на части. Они требуют разной работы.
| Вид утверждения | Пример | Что делать |
|---|---|---|
| Общеизвестное | определение термина | проверять не нужно |
| Конкретное и проверяемое | число, дата, имя, цитата | проверять всегда |
| Причинное | «X происходит из-за Y» | проверять источник И его силу |
Третья строка — самая коварная. Модель охотно превращает корреляцию в причину и предположение в вывод, потому что связный текст требует связок. Ссылка при этом может быть настоящей: в источнике действительно обсуждается X и Y, но с оговоркой «возможно связано», которая в пересказе исчезла.
#Шаг 2. Процедура проверки из пяти действий
Для каждого утверждения второй и третьей категории:
- Откройте по адресу, а не по названию. Если модель дала описание источника без точного адреса — это ещё не источник, это подсказка для поиска. Найдите его сами и убедитесь, что нашли именно тот.
- Найдите цитату внутри документа поиском по тексту. Не глазами — поиском. Цитаты, которых нет дословно, — самый частый вид тихой подделки: смысл похож, формулировка сочинена.
- Проверьте выходные данные независимо. Автор, год, издание, том. Ошибка в одном поле при верных остальных — типичный признак собранной, а не найденной ссылки.
- Прочитайте абзац вокруг цитаты. Именно здесь вылезают оговорки, ограничения выборки и слова «предположительно». Утверждение, вырванное из абзаца, часто меняет силу на противоположную.
- Запишите происхождение вместе с фактом. Точный адрес, дата обращения, где именно в документе. Через полгода без этого вы не отличите проверенное от непроверенного и будете проверять заново.
Пятое действие пропускают чаще всего, и оно же дороже всего обходится: непомеченный факт со временем становится «тем, что я где-то читал», а это худшее состояние знания из возможных.
#Шаг 3. Признаки, по которым ссылка вызывает подозрение
Ни один признак не является доказательством, но каждый повышает вероятность настолько, что проверка становится обязательной.
- Адрес выглядит канонично, но ведёт на корень сайта или на страницу поиска. Признак того, что адрес собран по шаблону, а не скопирован.
- Идентификатор документа не разрешается. Номер правильного формата, который никуда не ведёт, — почти верный признак сочинения.
- Автор и название существуют по отдельности, но не вместе. Проверяется одним поиском по имени автора: если у него нет такой работы, ссылка составная.
- Цитата не находится дословно в тексте. См. второе действие процедуры.
- Слишком круглые числа страниц или диапазон, невозможный для этого издания.
- Источник говорит ровно то, что вы хотели услышать. Самый неудобный признак, потому что он про вас, а не про источник. Модель склонна соглашаться с формулировкой вопроса, и заказанный вывод получает подтверждение чаще, чем нейтральный.
Последний пункт объясняет, почему проверка источников — это в первую очередь дисциплина, а не техника. Общая механика того, почему модель порождает несуществующее, разобрана в статье про галлюцинации ИИ.
#Шаг 4. Не путайте поиск в сети с проверкой
Модель с доступом в интернет выдумывает ссылки заметно реже — она их не сочиняет, а берёт с открытых страниц. Проблема смещается, но не исчезает: ссылка становится настоящей, а соответствие утверждению по-прежнему не гарантировано. Модель прочитала страницу, извлекла из неё то, что сочла подходящим, и сформулировала своими словами. Все три операции могут исказить смысл, и ни одна не оставляет следа.
Второе, о чём стоит помнить при работе с агентом, который сам ходит по страницам: содержимое страницы — это текст, который может содержать указания, адресованные самому агенту. Это не гипотетика, а известный класс проблемы. Как устроен такой агент и где у него границы — в статье про браузерного агента.
#Шаг 5. Отделяйте найденное от вспомненного
Отдельная опасность появляется, когда у ассистента есть память о ваших прежних записях. Тогда в ответе смешиваются три источника: то, что модель знает вообще, то, что она нашла сейчас, и то, что вы записали раньше. Внешне они неразличимы — это один связный абзац.
Требуйте разметки прямо в запросе: «для каждого утверждения укажи, откуда оно — из найденного сейчас, из моих записей или из общих знаний». Ответ станет менее гладким и более пригодным для работы. Как ловить искажения именно в той части, что приходит из памяти, разобрано в статье про галлюцинации памяти.
#Проверка результата
- В заметке нет ни одного утверждения без пометки об источнике или об отсутствии проверки. Пометка «не проверял» — полноценный и честный вариант.
- Вы хотя бы раз за исследование отбросили удобный источник. Ноль отброшенных за большую работу означает, что вы проверяли выборочно и в свою пользу.
- Цитаты совпадают дословно. Проверяется поиском по тексту, а не памятью о том, что вы их сверяли.
#Что может пойти не так
- Проверка съела всё время. Ограничьте её: проверяйте то, на чём стоят выводы, и помечайте остальное как непроверенное. Полная проверка всего — это не исследование, а его имитация.
- Источник платный и недоступен. Тогда утверждение остаётся непроверенным, и так и надо записать. Пересказ из вторых рук источником не становится.
- Модель извинилась и выдала другую ссылку. Готовность немедленно заменить ссылку по требованию — сама по себе признак: у настоящего источника замены нет.
- Проверенный факт устарел. Дата обращения в записи существует именно для этого: она позволяет понять, когда факт нужно перепроверить, а не гадать.
- Всё сохранено, но потом непонятно, что откуда. Следствие пропущенного пятого действия. Восстанавливается только повторной проверкой.
#Частые вопросы
#Можно ли доверять ссылкам, которые модель нашла в интернете прямо сейчас?
Ссылкам — почти всегда: они существуют. Пересказу содержимого — нет. Проверять надо не адрес, а соответствие утверждения тому, что на странице написано, и это отдельная работа, которую поиск в сети не выполняет.
#Как быстро понять, что ссылка выдумана?
Открыть её. Если открылась — найти цитату поиском по тексту страницы. Два действия отсекают подавляющее большинство проблем; всё, что прошло, требует уже чтения абзаца вокруг.
#Стоит ли просить модель указывать источники всегда?
Стоит, с оговоркой: требование источников не уменьшает выдумывание само по себе, оно делает выдумки проверяемыми. Это разные вещи, и вторая полезнее: непроверяемое утверждение хуже неверного, потому что с ним нечего делать.
#Что записывать в заметку кроме самого факта?
Точный адрес, дату обращения, место в документе и одну строку о том, насколько сильно источник это утверждает. Последнее чаще всего и теряется, а именно оно определяет, можно ли на факт опираться.
#Как быть с фактами, которые проверить нельзя?
Записывать с пометкой «требует проверки» и не строить на них выводов. Это скучное правило, и оно единственное, которое работает: непомеченное непроверенное со временем становится неотличимым от проверенного.
#Годится ли эта процедура для рабочих задач, а не научных?
Годится и обычно нужнее: в научной работе есть внешний рецензент, а в рабочей нет никого, кто поймает ошибку до того, как на ней будет построено решение. Прикладной срез — в статье про личный ИИ для исследователя, а общая рамка накопления проверенного — в разборе второго мозга на ИИ.
#Вывод
Выдуманная ссылка ломается при первом клике и потому неопасна. Опасна рабочая ссылка на страницу, которая не говорит того, что ей приписали, — она проходит все быстрые проверки и оседает в вашем архиве как факт. Защита одна и она процедурная: открывать по адресу, искать цитату поиском по тексту, читать абзац вокруг, сверять выходные данные и записывать происхождение рядом с фактом. Из пяти действий чаще всего пропускают последнее, а именно оно определяет, будет ли ваш архив через год состоять из знания или из «того, что я где-то читал».