Кнопка «палец вверх» под ответом ассистента кажется вежливостью. На самом деле это разметка, и от критерия, по которому вы её ставите, зависит, чему научится ваша будущая модель. Критерий у большинства один: «мне понравилось». Он даёт датасет, который учит модель нравиться, а не быть вашей.
#Зачем это нужно и когда не нужно
Нужно, если вы собираетесь дообучать модель под свой стиль и хотите собирать данные фоном. Не нужно, если вы ещё не проверили, что задачу не закрывает системный промпт: тогда вы полгода копите датасет для обучения, которое не понадобится. Где в маршруте стоит разметка — в пилларе про свою модель и дообучение под себя.
#Что понадобится
- Ассистент, который сохраняет пары «вопрос — ответ» вместе с оценкой. Без хранения оценка — жест в пустоту.
- Один письменный критерий. Не список из десяти пунктов, а фраза, которую вы примените одинаково через месяц.
- Дисциплина возвращаться к старым оценкам: разметка на первом впечатлении систематически ошибается.
#Критерий: не «правильно», а «моё»
Главная подмена: человек ставит плюс за фактическую правоту ответа. Это разумный критерий для оценки качества модели и вредный — для сбора датасета стиля.
Фактическая правильность приходит из базовой модели и из подставленных документов; дообучение её не улучшает. А вот манеру оно переносит — ровно ту, которую вы разметили.
Рабочая формулировка критерия: «я бы написал так же», а не «модель права».
Разница на примере. Ответ верен по сути, но написан канцелярским тоном с оговоркой в каждом абзаце. По критерию «правильно» это плюс; по критерию «я бы написал так же» — минус, если вы так не пишете. Поставите плюс — обучите модель писать канцелярски.
Три уточнения: тон важнее содержания (содержание вы поправите, манеру придётся вытравливать переобучением); структура переносится тоже — длина, списки, место вывода; честное «не знаю» размечается наравне с ответом и в наборе редко.
Почему стиль вообще стоит выбирать сознательно, а не «как получится» — в разборе персонального ИИ для пишущего.
#Шаг 1. Зафиксируйте критерий письменно
Одной строкой, в файле или заметке. Не в голове: через две недели формулировка поедет, и первая половина датасета перестанет соответствовать второй. Рабочий пример: «плюс — если я бы отправил этот текст коллеге без правок; минус — если бы переписал, даже когда по сути верно».
#Шаг 2. Размечайте не только реакцией
Естественный режим — ставить минус, когда раздражает. Он даёт перекошенный набор: отрицательных сигналов много, положительных эталонов почти нет, а обучать надо именно на положительных.
Противоядие: раз в несколько дней проходить по последним диалогам специально за плюсами. Пятнадцать минут, взгляд не «что не так», а «что бы я оставил». Это скучно, и это единственный способ набрать достаточно эталонов.
#Шаг 3. Отмечайте фрагменты, а не только ответы целиком
Ответ редко хорош весь: чаще в нём одна точная формулировка и три абзаца воды. Оценка целиком в этом случае лжёт в обе стороны — плюс тянет в датасет воду, минус выбрасывает формулировку. Если инструмент умеет отмечать выделенный фрагмент, используйте это как основной сигнал: он показывает не «в целом нравится», а что именно стоит закрепить.
#Шаг 4. Форма записи
Что хранить рядом с оценкой, чтобы датасет потом собирался без археологии:
| Поле | Зачем |
|---|---|
| Вопрос пользователя | вход обучающей пары |
| Ответ модели | эталон, если оценка положительная |
| Системный промпт на момент ответа | без него непонятно, чем вызван стиль |
| Модель и провайдер | чужая манера не должна попасть в ваш датасет |
| Оценка | +1 / −1 / без оценки |
| Дата | для ревизии и отсева устаревшего |
Поле «модель» здесь не формальность: если половина плюсов поставлена ответам крупной облачной модели, вы собираете датасет её манеры и переносите чужой стиль на компактную базу. Как эти поля превращаются в обучающие пары — в статье как собрать датасет из своих оценок.
#Шаг 5. Что делать с плохими ответами
Отрицательные оценки не идут в обучение как эталоны: учить модель тому, чего вы не хотите, обычным дообучением нельзя. Но выбрасывать их не надо — у них три применения:
- Список тем для доборки. Каждый минус — место, где положительного эталона нет. Напишите его руками.
- Материал для обучения на предпочтениях. Пара «этот ответ хуже того» — формат отдельного семейства методов, разобранного в статье про DPO и ORPO простыми словами. Отвергнутые ответы обычно не хранят, и без них этот путь закрыт.
- Проверка критерия. Не можете объяснить минус одной фразой — критерий размыт.
#Проверка результата
Разметка удалась, если выполняются три условия:
- Положительных примеров хватает по порядку величины — ориентиры по целям в статье сколько примеров нужно для дообучения.
- Случайная выборка из ста плюсов читается как один голос. Скачет тон — критерий применялся непоследовательно, и датасет учит противоречию.
- Плюсы распределены по темам, а не собраны в одной. Иначе модель выучит тему.
Второе условие важнее первого: набор нужного объёма бесполезен, если проваливает его. Как привести такой набор в порядок — в статье про очистку датасета.
#Что может пойти не так
- Плюсов в разы меньше минусов. Нормальное человеческое поведение, лечится регулярным проходом за плюсами.
- Оценка по первому впечатлению. Ответ понравился, а через день оказался неверным — но он уже эталон. Раз в месяц перечитывайте старые плюсы.
- Критерий поехал. Первая сотня размечена по «правильно», вторая по «моё»; датасет учит среднему, то есть ничему.
- В датасете чужая манера. Проверяется фильтром по полю модели: если большинство плюсов у одной облачной модели, вы клонируете её.
- Размечено только простое. Сложные вопросы получают ответы похуже и остаются без плюсов — модель учится там, где и так справлялась.
#Куда попадают оценки: честно про наш случай
В Persona пары «вопрос — ответ» пишутся в базу после каждого ответа ассистента, сбор включён по умолчанию и выключается переключателем на странице датасета. Оценки и выделенные фрагменты хранятся рядом и выгружаются одним файлом.
Три оговорки, которые надо знать до того, как вы начнёте размечать:
- Страница датасета и экспорт доступны только владельцу инстанса. Участник размечает ответы, но выгрузить набор не может.
- Таблица сбора — одна на инстанс, без разделения по пользователям. Если на инстансе есть другие участники, их пары попадают в тот же экспорт, который делает владелец.
- Данные лежат на той машине, где развёрнута Persona. Ваш компьютер или сервер — значит, у вас. Размещённая версия — значит, на её сервере, и у администратора есть доступ к базе.
Вывод: если датасет собирается из чувствительной переписки, разворачивайте Persona у себя. И помните, что при отправке экспорта в бесплатный облачный блокнот он всё равно оказывается на чужой инфраструктуре.
#Частые вопросы
#Ставить оценку каждому ответу?
Нет, это утомляет и быстро превращается в автоматизм, а автоматическая разметка — это шум. Размечайте выборочно, но осознанно: несколько сигналов в день, поставленных по критерию, полезнее двадцати рефлекторных.
#Что делать, если ответ хороший по сути, но не в моём тоне?
Для датасета стиля это отрицательный пример. Лучший ход — переписать его своими словами и положить в набор как рукописный эталон: одна такая пара стоит десяти собранных автоматически.
#Можно ли размечать задним числом по истории переписки?
Можно, и это быстрый способ набрать первую партию. Осторожность одна: в старом диалоге легко принять за хороший ответ тот, который тогда вас не устроил. Разбирайте историю блоками по темам, а не подряд.
#Мои оценки видит кто-то ещё?
Зависит от того, где развёрнут ассистент. В нашем случае оценки лежат в базе того инстанса, которым вы пользуетесь; экспорт датасета доступен владельцу инстанса, а не каждому участнику. На размещённой версии владелец — не вы.
#Нужно ли размечать ответы разных моделей отдельно?
Обязательно храните, какой моделью получен ответ, и следите за долями. Смешивать сигналы разных моделей в одном датасете можно, но если одна из них доминирует, вы обучаете свою модель её манере — а не своей.
#Вывод
Разметка — это не благодарность ассистенту, а формулировка того, каким вы хотите слышать свой будущий инструмент. Критерий «я бы написал так же» даёт датасет стиля; критерий «модель права» — датасет вежливости, который дообучению не нужен.
Готовы раз в несколько дней тратить пятнадцать минут на осознанный проход за плюсами — набор соберётся сам за недели. Не готовы — честнее написать полсотни эталонов руками.