Модель стоит в верхней строке рейтинга. Вы просите её переписать абзац с числами — и получаете «двадцать один страниц», «к 3 позиции» и фамилию женщины, просклонённую по мужскому образцу. Дальше в тексте она уверенно раскрывает отраслевое сокращение, придумав расшифровку с нуля.
Это не сбой и не редкий случай. Публичные таблицы качества почти целиком построены на английском, и высокое место в них не говорит о русском вообще ничего. Согласование после числительных, склонение фамилий, отраслевые сокращения и единообразие латиницы внутри русского текста в этих тестах не проверяются.
Проверить придётся самому — и это занимает полчаса на кандидата. Ниже четыре промпта, готовых к копированию, критерии провала для каждого и таблица для сведения результатов. Гайд не нужен в одном случае: если вы работаете только на английском — тогда стандартные рейтинги вам подходят, и эта процедура лишняя.
#Что понадобится
- Два-три кандидата, влезающих в вашу память. Отбор по железу делается до языковых проверок и описан в разборе того, какую модель выбрать под задачу и железо.
- Одинаковые условия прогона. Одна и та же температура (лучше низкая, 0–0,3), один и тот же системный промпт или его отсутствие у всех, одна и та же длина контекста.
- Чистый диалог на каждый промпт. Не продолжайте предыдущий: модель подстраивается под свои же прошлые ответы и вторая проверка выйдет мягче первой.
- Полчаса и таблица — бумажная или в редакторе, форма ниже.
Оценивайте по трёхбалльной шкале: 2 — пригодно как есть, 1 — пригодно после правки, 0 — переписывать заново.
#Почему русский обходится дороже английского
Прежде чем считать баллы, полезно понимать, откуда берётся часть проблем.
Модель работает не с буквами и не со словами, а с токенами из своего словаря, а словарь собран по частоте на преимущественно английском корпусе. Английское слово укладывается в один-два токена; русское с приставкой, суффиксом и окончанием разбирается на несколько кусков, а редкое имя собственное может распасться до отдельных байтов. Механика — в справке о том, что такое токенизация.
Три следствия, которые вы почувствуете:
- Контекст заполняется быстрее. В окно на 8 тысяч токенов русского текста влезает заметно меньше, чем английского того же смысла. Насколько именно — зависит от токенизатора конкретного семейства; отношение стоит измерить на своём тексте, а не брать из статьи.
- Ответ порождается медленнее. На одну и ту же мысль по-русски уходит больше токенов, поэтому при равной скорости в токенах в секунду ответ приходит дольше.
- Облачный запрос стоит дороже. Тарификация идёт по токенам, и тот же текст на русском обходится в большее их число.
Дробное разбиение бьёт и по качеству: окончание, распавшееся на отдельные куски, модели труднее согласовать с числительным. Отсюда первая проверка.
#Шаг 1. Падежи и числительные
Скопируйте промпт целиком.
Перепиши абзац: цифры замени словами и согласуй с ними существительные,
фамилии в скобках поставь в нужную форму. Ничего не добавляй от себя.
Абзац:
В отчёте 21 (страница), 22 (таблица) и 3 (приложение).
Документ составлен в присутствии (Ковальчук Игорь) и (Ковальчук Анна).
Копии переданы (Белых Павел) и (Белых Мария).
Правильный результат: «двадцать одна страница, двадцать две таблицы и три приложения»; «в присутствии Игоря Ковальчука и Анны Ковальчук»; «переданы Павлу Белых и Марии Белых».
Что считать провалом: «двадцать один страниц» или «двадцать одна страниц» — сломано согласование после числительного, оканчивающегося на единицу. Женская фамилия просклонена («Анны Ковальчуковой», «Анны Ковальчука») — модель не различает род носителя при одинаковой фамилии. Просклонённая фамилия на «-ых» — она неизменяема в любом падеже и для любого пола.
#Шаг 2. Аббревиатуры без выдумки
Разверни сокращения из текста. Каждое — отдельной строкой, расшифровка
одной фразой. Если у сокращения несколько прочтений — перечисли их.
Если не знаешь расшифровки — напиши «не знаю». Не угадывай.
Текст:
По итогам СМР подрядчик передал ИД и КС-2, ОКС согласовал ПНР,
замечания ССК сняты, разделы ОВ и ВК без изменений.
Подставьте сокращения своей отрасли: верные расшифровки знаете вы, а не статья, — модель проверяется против вашего знания, а не против чужого списка.
Что считать провалом: модель уверенно раскрыла все сокращения, включая заведомо многозначные. Это и есть выдумка: правдоподобная расшифровка порождается так же легко, как верная, и на вид они неотличимы. Модель, написавшая «не знаю» в двух строках из семи, лучше той, что бодро расписала все семь.
#Шаг 3. Канцелярит
Перепиши фразу человеческим языком: короткими предложениями, без
отглагольных существительных и цепочек родительных падежей. Сохрани
все условия и все даты. Ничего не добавляй и ничего не выбрасывай.
Фраза:
В связи с необходимостью осуществления мероприятий по оптимизации
процесса взаимодействия с контрагентами, а также в целях недопущения
возникновения просроченной задолженности, настоящим уведомляем о том,
что начиная с 1 сентября приём заявок на оплату осуществляется
исключительно через электронную форму, при этом заявки, поступившие
иным способом, рассмотрению не подлежат.
Что считать провалом: канцелярит остался («в целях недопущения возникновения», «настоящим уведомляем»); либо потерялось условие — пропала дата 1 сентября или указание, что заявки другим способом не рассматриваются; либо появилось лишнее. Хороший ответ вдвое короче исходника и содержит ровно те же три факта.
#Шаг 4. Транслитерация и единообразие
Перепиши текст для внутренней документации. Названия продуктов и
технологий оставь латиницей в их официальном написании. Имена людей
передай кириллицей. Одно и то же название пиши одинаково по всему
тексту. В конце приведи список использованных написаний.
Текст:
Обсудили с Andrew Ng миграцию на Kubernetes. В кубернетесе у нас
уже крутится postgres, но PostgreSQL для аналитики вынесли в
отдельный кластер. Sarah Chen предложила посмотреть на Клиффхаус,
а Джон Доу — на ClickHouse.
Что считать провалом: одно и то же название написано по-разному — где-то Kubernetes, где-то «кубернетес»; postgres и PostgreSQL остались двумя продуктами; «Клиффхаус» и ClickHouse не сведены. Имена людей передаются то кириллицей, то латиницей. Список написаний в конце не соответствует тексту выше.
Единообразие — самая слабая сторона компактных моделей на русском: они решают каждое вхождение заново, не сверяясь с предыдущим.
#Шаг 5. Сведение результатов
Заполните таблицу по ходу проверок. Смотреть в ней нужно не на сумму, а на нули: одна проверка с нулём в вашей рабочей области перевешивает высокие оценки в остальных.
| Проверка | Модель A | Модель B | Модель C |
|---|---|---|---|
| Падежи и числительные | |||
| Аббревиатуры без выдумки | |||
| Канцелярит | |||
| Транслитерация | |||
| Сумма |
Кандидаты с нулём по падежам отсеиваются сразу, независимо от суммы: согласование правится руками в каждом ответе и съедает всю экономию времени. Из оставшихся берётся тот, у кого выше оценка по вашей основной задаче.
Дообученные под русский открытые веса включите в проверку отдельными кандидатами: они нередко сильнее в стилистике, но проигрывают крупным мультиязычным моделям в рассуждениях — разбор в материале про русские модели T-lite и Vikhr. Из мультиязычных на русском чаще держатся китайские линейки, разобранные в обзоре моделей Qwen.
#Проверка результата
Четыре промпта — это отбор, а не доказательство. Убедиться, что отбор сработал, можно только на своей неделе работы, и делается это так.
- Оставьте победителя на неделю и не меняйте его, даже если выйдет новая версия.
- Считайте правки. После каждого ответа отмечайте одним знаком, пришлось ли править грамматику — падеж, согласование, форму фамилии.
- Через неделю посчитайте долю. Если грамматику пришлось править меньше чем в каждом десятом ответе — отбор сработал, модель рабочая. Если чаще чем в каждом третьем — отбор не сработал, вернитесь к таблице и возьмите следующего кандидата.
- Отдельно отметьте случаи выдумки расшифровок и терминов. Даже один случай в неделю означает, что проверять придётся всё, и это меняет ценность модели сильнее, чем стилистика.
Признак верного выбора: вы перестали перечитывать ответы на предмет грамматики. Полная методика слепого сравнения с фиксацией условий — в гайде о том, как тестировать модель на своих задачах.
#Что может пойти не так
Вы сравнивали в разных условиях. Разная температура или разный системный промпт делают сравнение бессмысленным. Температура выше единицы ломает согласование даже у хорошей модели.
Вы прогоняли всё в одном диалоге. Модель видит свои прошлые ответы и подстраивается: каждый промпт — новый чат. И оценивайте вслепую: ожидание от громкого имени смещает баллы.
Вы взяли шаблон промпта, а не свой текст. Промпты выше — стартовые. Замените абзац с числами на свой отчёт, сокращения — на свои отраслевые, канцелярит — на реальное письмо. Проверка на чужом материале меряет чужую задачу.
Модель провалила проверку из-за настроек, а не из-за языка. Прежде чем вычёркивать кандидата, убедитесь, что использован правильный шаблон чата и контекст не обрезан. Типовые причины плохих ответов чаще лежат в окружении, чем в самой модели; как это устроено в связке с ассистентом — в материале про ИИ-ассистента на русском языке.
#Частые вопросы
#Почему модель из верхних строк рейтинга плохо пишет по-русски?
Публичные бенчмарки построены преимущественно на английских наборах задач, и результат на них не переносится на русский. Морфология, согласование после числительных и склонение фамилий в этих тестах не проверяются вовсе. Высокое место говорит о качестве на английском и ни о чём больше.
#Нужна ли специально русская модель или подойдёт мультиязычная?
Однозначного ответа нет, и решается это проверкой. Дообученные под русский веса обычно сильнее в стилистике и канцелярите, крупные мультиязычные — в рассуждениях. Прогоните и тех и других через одни и те же четыре промпта на своём материале.
#Почему русский текст медленнее и дороже английского?
Словари токенизаторов собраны преимущественно на английских корпусах, поэтому русское слово разбивается на большее число токенов. Больше токенов означает быстрее заполненный контекст, дольше генерацию и выше стоимость облачного запроса. Точное отношение зависит от токенизатора и измеряется на вашем тексте.
#Как понять, что модель придумала расшифровку сокращения?
По отсутствию оговорок. Модель, уверенно раскрывшая все сокращения подряд, включая многозначные, почти наверняка часть из них сочинила — правдоподобная расшифровка порождается так же легко, как верная. Проверять нужно против собственного знания отрасли.
#Помогает ли системный промпт «отвечай на русском грамотно»?
Немного помогает со стилем и почти не помогает с морфологией. Согласование после числительных и склонение фамилий определяются тем, что модель усвоила при обучении; инструкция этого не добавляет. Промпт стоит держать одинаковым у всех кандидатов, чтобы сравнение осталось честным.
#Как часто нужно перепроверять выбранную модель?
Разумный ритм — при выходе нового поколения в вашем размерном классе или раз в квартал. Четыре промпта уже сохранены, поэтому повторная проверка занимает полчаса. Менять модель чаще смысла нет: перенастройка стоит дороже разницы между соседними кандидатами.