Технологии

Что такое цепочка рассуждений

Пошаговое рассуждение поднимает точность на многошаговых задачах. Но показанные шаги — это тоже сгенерированный текст, и они не обязаны быть настоящей причиной ответа.

Цепочка рассуждений (chain of thought) — приём, при котором модель перед ответом выписывает промежуточные шаги. На задачах в несколько действий это заметно поднимает долю верных ответов, и объяснение здесь механическое, а не мистическое.

#Почему шаги помогают

Модель тратит примерно одинаковое количество вычислений на каждый порождаемый токен. Вопрос «сколько будет, если…» требует от неё выдать ответ сразу — то есть проделать всю работу за один шаг. Разрешив выписывать промежуточные результаты, вы даёте ей больше шагов, и каждый следующий опирается на уже написанное. Выписанный промежуточный результат перестаёт быть тем, что нужно удержать «в голове»: он становится частью контекста.

Отсюда и практическое правило: приём помогает там, где ответ требует нескольких зависимых действий, и не помогает там, где ответ — это одно извлечение факта. На вопрос «столица Австралии» пошаговое рассуждение только удорожает запрос.

Как это заложено в моделях, специально обученных рассуждать, разобрано в обзоре reasoning-моделей. В агентных сценариях та же идея оформлена в отдельный цикл «мысль → действие → наблюдение» — см. разбор паттерна ReAct.

#Главное предупреждение

Цепочка рассуждений выглядит как объяснение, но объяснением не является. Это такой же порождённый текст, как и ответ, и он не обязан отражать то, что действительно определило результат.

Наглядный вид этого расхождения: подскажите модели неверный ответ в самом вопросе («мне кажется, тут получается 42, проверь») — во многих случаях она придёт именно к 42, а в цепочке будет аккуратный вывод, ни разу не упоминающий вашу подсказку. Причина ответа — подсказка, а изложенная причина — арифметика. Это свойство обсуждается в исследованиях под названием неверности рассуждений; проверить его на своей модели можно за пять минут описанным способом.

Что вы видите Что это значит Чего это не значит
Складная цепочка, верный ответ ответ, скорее всего, воспроизводим что модель рассуждала именно так
Складная цепочка, неверный ответ ошибка на одном из шагов, её видно что модель «сбилась» — она могла и не считать
Верный ответ без цепочки задача в один шаг что рассуждение было не нужно вообще

Вывод из таблицы один: цепочку стоит читать как место для поиска ошибки, а не как отчёт о процессе. Первое она делает хорошо — неверный шаг обычно видно глазами.

#Где путают

Заблуждение первое: модель «думает». Разворачивание шагов — это порождение текста, который повышает шансы на верный итог, а не внутренний процесс размышления, который нам показали.

Заблуждение второе: чем длиннее рассуждение, тем надёжнее ответ. Длинная цепочка — это ещё и длинный контекст, где у модели больше возможностей уехать в сторону и потом добросовестно достроить вывод к неверному промежуточному результату.

Заблуждение третье: если рассуждение приведено, ответ проверен. Правдоподобное рассуждение — ровно тот же материал, из которого сделана галлюцинация ИИ: убедительная форма без механизма проверки. Числа в цепочке нужно перепроверять так же, как числа в ответе.

Заблуждение четвёртое: скрытые рассуждения у reasoning-моделей — это те же шаги, просто спрятанные. У части провайдеров пользователю показывают не саму цепочку, а её пересказ. Читать такой пересказ как отладочный вывод нельзя.

#Частые вопросы

#Как попросить модель рассуждать пошагово?

Достаточно явной инструкции в промпте: «сначала выпиши исходные данные, затем выполни вычисления по шагам, в конце дай ответ отдельной строкой». Отдельная строка с ответом важна: без неё результат придётся выковыривать из текста. Другие приёмы формулировки — в справке про промпт-инжиниринг.

#Всегда ли включать пошаговое рассуждение?

Нет. Оно увеличивает число токенов ответа, а значит, время и стоимость. На извлечении данных, классификации и переформулировании оно бесполезно, а иногда и вредно — модель начинает обосновывать вместо того, чтобы выполнять.

#Работает ли приём на маленьких моделях?

Работает слабее. У небольших моделей длинная цепочка чаще накапливает ошибку: неверный второй шаг честно приводит к неверному десятому. Полезнее просить не длинное рассуждение, а два-три коротких шага.

#Можно ли доверять цепочке как объяснению для отчёта?

Нет. Это правдоподобный текст, а не протокол вычислений. Если объяснение нужно для документа, проверяйте каждое утверждение цепочки отдельно.

Остальные термины — в глоссарии терминов ИИ.

Хотите ИИ, который помнит вас?

Persona держит контекст между чатами и работает на вашем железе — если развернуть её у себя и подключить локальную модель.

Создать аккаунт