Что такое RLHF

RLHF — обучение с подкреплением на человеческой обратной связи. Это этап, на котором модель учат не новым фактам, а тому, какой из нескольких возможных ответов люди сочтут лучше. Отсюда берутся и вежливость, и структура ответа, и отказы обсуждать часть тем.

#Три этапа, из которых собирается модель-собеседник

Механика третьего этапа в классическом виде: асессорам показывают два ответа модели на один запрос и просят выбрать лучший. На собранных сравнениях обучают отдельную модель вознаграждения, которая умеет оценивать ответы числом. Затем основную модель дообучают алгоритмом обучения с подкреплением так, чтобы её ответы получали более высокую оценку — с ограничением, не дающим уехать слишком далеко от исходной модели.

Схема громоздкая: три модели в памяти, нестабильное обучение. Поэтому широко разошлись более простые методы, обходящиеся без отдельной модели вознаграждения; они разобраны в тексте про DPO и ORPO простыми словами.

#Что это объясняет на практике

• Отказы. Модель отказывается не потому, что «знает закон», а потому, что на этапе выравнивания ответы такого рода систематически получали низкую оценку. Отсюда и ложные срабатывания на безобидных запросах: граница проведена статистически, а не по смыслу.
• Многословие. Асессоры чаще выбирают развёрнутый ответ. Модель это усвоила, и склонность к длинным вступлениям — прямое следствие.
• Согласие с пользователем. Ответ, соглашающийся с собеседником, нравится людям больше. Модель, обученная нравиться, склонна уступать под давлением — даже когда была права.
• Разница между базовой и инструктивной версией. В репозиториях лежат обе: -base прошла только первый этап и умеет лишь продолжать текст, -instruct или -chat прошла все три. Для диалога нужна вторая.

#Где путают

Заблуждение первое: RLHF делает модель умнее. Не делает. Знания закладываются на первом этапе, и выравнивание их не добавляет. Более того, обычно фиксируется небольшая просадка на чисто academic-задачах в обмен на удобство общения — это явление называют налогом на выравнивание.

Заблуждение второе: «расцензуренная» модель знает больше. Модели с приставкой uncensored — это те, у которых дообучением частично отменили третий этап. Знаний там не прибавилось, прибавилась готовность отвечать. Заодно нередко теряется аккуратность формата и растёт склонность выдумывать.

Заблуждение третье: отказы модели — это и есть защита. Нет. Ограничения, заложенные обучением, — лишь один из уровней, и самый обходимый; как устроены остальные, описано в справке про ограничители поведения модели, а типовые способы обхода — в справке про джейлбрейк промпта.

Заблуждение четвёртое: RLHF — то же самое, что дообучение под свою задачу. Разные вещи по цели и по данным: выравнивание работает с предпочтениями между ответами, а обычное дообучение — с примерами правильных ответов. Что из этого нужно вам и нужно ли вообще — в разборе своей модели и fine-tune.

#Частые вопросы

#Можно ли сделать RLHF самому?

Полноценный RLHF с моделью вознаграждения требует ресурсов и размеченных сравнений. Упрощённые методы выравнивания на предпочтениях запускаются на одной мощной видеокарте для небольших моделей, но данные всё равно нужно собрать — это главная работа.

#Почему модель извиняется и соглашается, даже когда была права?

Это прямое следствие того, что на этапе выравнивания уступчивые ответы оценивались выше. Если вам нужна модель, которая держится факта, задавайте это правило в системной инструкции и проверяйте, держится ли оно под давлением.

#Что такое конституционное обучение?

Вариант выравнивания, в котором часть работы асессоров заменяют набором письменных принципов и самокритикой модели по этим принципам. Цель та же — сместить поведение, а не добавить знаний.

#Влияет ли выравнивание на локальную модель, которую я запускаю у себя?

Влияет: вы скачиваете уже выровненные веса, и заложенное поведение никуда не девается. Изменить его можно только дообучением, а не настройками запуска и не системным промптом — промпт лишь сдвигает стиль в пределах усвоенного.

Остальные термины — в глоссарии терминов ИИ.