Память

Галлюцинации в памяти: когда ассистент придумывает ваше прошлое

Самый опасный сбой персональной памяти — самоусиление: выдуманный факт попадает в промпт и подтверждается заново. Разбираем цикл, диагностику по симптомам и аудит памяти из пяти шагов.

«Ассистент утверждает, что я работаю в компании, где я не работаю, и делает это уверенно уже третью неделю». Именно так выглядит симптом, с которым сюда приходят. Это не обычная галлюцинация модели — обычная живёт один ответ и исчезает. Эта закрепилась в памяти и воспроизводится, потому что каждый раз подаётся модели как факт.

Разница принципиальная: обычную галлюцинацию вы поправляете репликой, эту — нет.

#Быстрая проверка

Две минуты, отсекающие половину случаев.

Первое: откройте список того, что ассистент о вас помнит. В Persona это страница /settings/memory. Если ложное утверждение есть в списке — это записанный факт, и дальше читайте раздел про удаление. Если его там нет, идите ко второму.

Второе: задайте вопрос в новом пустом чате. Повторилась ли ошибка? Если да — источник вне текущего диалога: либо запись в памяти, которую вы не заметили, либо старое сообщение, которое подтягивается поиском. Если нет — ошибка жила в контексте одного разговора и уже исчезла.

Эти два шага делят все случаи на две группы, лечащиеся по-разному.

#Цикл самоусиления

Прежде чем разбирать причины — механизм, который делает эту поломку особенной.

① модель домыслила факт в одном ответе
     ↓
② ответ сохранился в истории переписки
     ↓
③ извлечение фактов прочитало эту историю
     ↓
④ утверждение записалось в память как факт
     ↓
⑤ факт подмешивается в промпт при каждом ответе
     ↓
⑥ ассистент повторяет его, ответ снова уходит в историю
     ↓
  возврат к ③ — теперь «подтверждений» два

Через месяц у выдуманного факта будет десяток подтверждений в переписке, и каждое из них — эхо первого домысла. Внешне это неотличимо от многократно подтверждённого настоящего факта.

Разорвать цикл можно в трёх местах: на шаге ③ (не считать собственные ответы ассистента источником фактов), на шаге ④ (требовать доказательство перед записью) и на шаге ⑤ (удалить запись). Первые два — задача системы, третий — ваша.

#Причина 1. Модель домыслила, извлечение записало

Признак. Факт правдоподобен, похож на правду, но вы такого не говорили. Часто это обобщение: «предпочитает работать по утрам» вместо «сегодня встал рано».

Проверка. Найдите в переписке первое упоминание. Если исходная фраза была осторожнее или про другое — это домысел на этапе извлечения.

Решение. Удалите запись и проверьте, не осталось ли в переписке ответа ассистента, который её породил. Если система умеет не считать собственные ответы источником — это её работа, если нет — удалите и сообщение тоже.

Профилактика. Требование доказательства перед записью: факт о человеке создаётся только из его собственных слов, а не из ответа ассистента и не из чужой реплики. Как это формулируется и проверяется, разобрано в материале про провенанс памяти.

#Причина 2. Чужие слова стали фактом о вас

Признак. В памяти лежит утверждение, верное для кого-то другого. Появляется у тех, кто использует ассистента в групповых чатах или пересылает ему чужие сообщения.

Проверка. Спросите себя, где это могло прозвучать. Если в общем чате или в пересланном тексте — причина найдена.

Решение. Удалить запись. Отдельно проверить, не появились ли из неё связи в графе.

Профилактика. Атрибуция высказываний на входе. В Persona сообщения от участников групп помечаются при сохранении, и ночной цикл памяти не принимает их как доказательство о владельце — реплика участника группы отклоняется явным правилом, а не понижается в приоритете.

#Причина 3. Устаревший факт выглядит как выдуманный

Признак. Утверждение было верным, но перестало: старое место работы, закрытый проект, бывшие отношения.

Проверка. Спросите себя не «правда ли это», а «была ли это правда». Если год назад было правдой — это не галлюцинация, а устаревание, и лечится оно иначе.

Решение. Не удалять, а заменить новым фактом. Тогда старая версия останется в истории с отметкой, до какого момента была верна, — механика разобрана в материале про bi-temporal память.

Профилактика. Разрешение противоречий при записи: новый факт должен отменять старый, а не ложиться рядом. Оговорка честная: подбор похожих фактов для сравнения обычно грубый, и если старое сформулировано другими словами, противоречие не обнаружится.

#Причина 4. Сводка диалога придумала деталь

Признак. Ассистент ссылается на договорённость, которой не было, или называет число, которого не звучало. Часто — в длинных беседах.

Проверка. Пролистайте начало диалога. Если там нет ни числа, ни договорённости, а ассистент их «помнит» — деталь родилась при сворачивании старой части в сводку.

Решение. Начать новый чат: сводка привязана к сессии и не переживёт её. Важное перенести руками.

Профилактика. Структурированный формат сводки с полями под числа и решения — модель, заполняющая поле, реже придумывает, чем модель, пишущая связный пересказ. Подробно — в гайде по суммаризации диалога.

#Причина 5. Поиск подтянул похожее и выдал за ваше

Признак. Ассистент приписывает вам чужую или гипотетическую фразу из старого разговора — например, из обсуждения примера или цитаты.

Проверка. Найдите эту фразу поиском по переписке. Если она там есть, но в другом контексте — сработал поиск, а не память.

Решение. Точечное — никакого; это свойство извлечения по похожести. Помогает переформулировать вопрос конкретнее.

Профилактика. Пометка роли и даты у каждого найденного фрагмента. В Persona строки блока памяти выводятся с датой, названием чата и указанием, кто говорил, — это не оформление, а способ дать модели основание не путать источники.

#Таблица: симптом → причина → проверка

Симптом Вероятная причина Чем проверить
Правдоподобное обобщение, которого вы не говорили домысел при извлечении найти первое упоминание в переписке
Факт верен, но не про вас чужая реплика стала фактом вспомнить, где это могло прозвучать
Факт был верен год назад устаревание вопрос «была ли это правда»
Число или договорённость из воздуха придумано при сворачивании пролистать начало диалога
Ваша якобы цитата из чужого контекста поиск подтянул похожее найти фразу поиском
Ошибка исчезает в новом чате контекст сессии второй шаг быстрой проверки

#Аудит памяти: пять шагов

Профилактическая процедура, которую стоит проводить раз в месяц или после долгого периода интенсивного общения.

  1. Откройте полный список активных записей. Читайте подряд, а не выборочно: ошибки прячутся в правдоподобных формулировках, а не в очевидно странных.
  2. Разметьте каждую запись одним из трёх: верно, устарело, не моё. Не исправляйте по ходу — сначала разметьте всё, иначе устанете на середине.
  3. «Не моё» удаляйте, «устарело» заменяйте. Разница важна: удаление стирает, замена сохраняет историю и позволяет откатить.
  4. Проверьте, что удалённое действительно исчезло. Задайте вопрос в новом чате. Если факт вернулся — он живёт ещё где-то: в поисковом индексе, в графе, в сводке сессии. Полная процедура — в гайде как удалить факт из памяти ИИ.
  5. Закрепите то, что должно быть неприкосновенным. Закреплённые записи выводятся из-под автоматического слияния и вытеснения: в Persona кластер, в который попала закреплённая запись, ночная консолидация пропускает целиком.

Шаг 2 — тот, который обычно пропускают, и зря: без разметки аудит превращается в чтение и заканчивается ничем.

#Если ничего не помогло

Ошибка воспроизводится после удаления записи и очистки нового чата — значит, источник не там, где вы искали. Три места, куда стоит посмотреть дальше.

Системный промпт. Если вы когда-то вписали факт о себе в настройки характера ассистента, он подаётся при каждом ответе и не показывается в списке памяти.

Граф связей. Ребро, выведенное из удалённого факта, может пережить его, если связь между ними не отслеживается.

Сама модель. Если ассистент утверждает нечто общеизвестно неверное и не про вас лично — это обычная галлюцинация модели, а не сбой памяти. Природа этого явления разобрана в справке про галлюцинации ИИ.

Отдельно стоит проверить настройки автоматической записи: если ночной цикл памяти включён, факты пополняются фоново. В Persona он выключен по умолчанию, работает по расписанию и не исполняет решения модели напрямую — предложения проходят отдельную проверку. Как это устроено, разобрано в материале про ночную консолидацию памяти. Общая механика того, что и когда попадает в промпт, — в статье о том, как работает память у ИИ.

#Частые вопросы

#Почему ассистент так уверен в выдуманном факте?

Потому что для него это не догадка, а входные данные. Факт из памяти подаётся в том же виде, что и ваш вопрос, — модель не имеет способа отличить проверенное утверждение от записанного по ошибке, если рядом нет пометки об источнике.

#Достаточно ли сказать «это неправда» в чате?

Нет. Реплика в чате не меняет записанный факт: она станет ещё одним сообщением в истории, а запись останется. Правку нужно делать в самой памяти.

#Может ли ассистент проверять свои факты сам?

Частично: он может замечать противоречия между новым и старым утверждением. Но проверить факт против реальности он не может — у него нет доступа к реальности, только к вашим текстам. Поэтому решение об истинности остаётся за вами.

#Как часто делать аудит?

Раз в месяц при активном использовании достаточно. Дополнительный повод — после периода, когда вы много обсуждали с ассистентом личное: именно тогда пополнение памяти идёт интенсивнее всего.

#Помогает ли выключить автоматическую запись фактов?

Помогает радикально: без автоматического извлечения ложные факты не появляются вовсе. Цена — память придётся вести руками. Это разумный режим для тех, кто использует ассистента эпизодически.

#Опаснее ли эта проблема, чем обычные галлюцинации?

Да, по двум причинам. Обычная галлюцинация видна сразу и исчезает вместе с ответом; эта живёт месяцами и выглядит как знание о вас. И она самоподтверждается, а обычная — нет.

#Вывод

Если ассистент повторяет неверный факт о вас, не спорьте с ним в чате — откройте память и посмотрите, записан ли он. Разделяйте три случая: выдумано, устарело, не про вас, — они лечатся по-разному, и удаление устаревшего вместо замены теряет историю. Проводите аудит списком, а не по ощущению, и проверяйте результат в новом чате: факт, который вернулся после удаления, живёт где-то ещё. И если можете выбирать систему — выбирайте ту, что показывает, из какого сообщения взялась каждая запись: без этого отличить свою память от домысла модели нечем.

Хотите ИИ, который помнит вас?

Persona держит контекст между чатами и работает на вашем железе — если развернуть её у себя и подключить локальную модель.

Создать аккаунт