Вы выбираете между двумя моделями, открываете таблицу результатов и видите, что одна обходит другую на популярном тестовом наборе. Скачиваете победителя, даёте ему задачу ровно того типа, который этот набор проверяет, — и получаете ответ, который приходится переписывать целиком. Ничего загадочного не произошло. С большой вероятностью задачи из набора попали в обучающие данные модели. Она их видела. На экзамене она вспомнила, а не решила.
Это называется загрязнением тестового набора, и оно портит не отдельную строку таблицы, а таблицу целиком: сравнивать модели, каждая из которых видела неизвестную вам долю экзамена, бессмысленно — разрыв в баллах может отражать разницу в чистоте обучающего корпуса, а не в способностях. И это только первый из четырёх механизмов, из-за которых красивая таблица расходится с вашим опытом.
Текст написан 25 августа 2026 года. Ниже нет ни одного конкретного балла и ни одного имени версии: они устаревают за месяцы, а механизмы искажения не меняются годами.
#Если коротко
Бенчмарк — это прибор с большой и неизвестной погрешностью. Он показывает, что модель делает на конкретном наборе задач в конкретных условиях прогона, и не показывает, что она сделает с вашей задачей на вашем языке. Пользоваться им стоит для грубой сортировки по классу — «эта модель примерно такого уровня, а та примерно такого», — а не для выбора между двумя близкими кандидатами. Разница в пределах нескольких процентов на публичном наборе не значит почти ничего.
Ниже — четыре механизма, каждый из которых работает систематически, а не случайно. Систематическая ошибка тем и опасна, что не усредняется при добавлении новых тестов.
#Механизм первый: экзамен утёк в учебник
Обучающие корпуса больших моделей собираются массовым обходом веба. Тестовые наборы лежат в открытом доступе: у них есть страницы описания, репозитории, разборы решений, переводы, копии внутри чужих датасетов, обсуждения на форумах с полным текстом задач и ответами. Отфильтровать всё это из корпуса на триллионы токенов трудно, а вычистить полностью не удаётся никому.
Что из этого получается:
- Балл растёт без роста способности. Модель воспроизводит запомненный ответ. На задаче того же типа, но новой, результат оказывается заметно ниже.
- Загрязнение неравномерно. Одна модель могла впитать больше копий конкретного набора, чем другая, просто из-за состава корпуса и даты сбора. Разница в таблице в этом случае измеряет разницу корпусов.
- Чем старее набор, тем он грязнее. Популярный тест живёт в интернете годами, обрастает разборами и переводами, и к каждому следующему поколению моделей приходит всё более засвеченным.
Разработчики с этим борются: держат закрытые части наборов, вставляют в файлы специальные строки-маркеры, чтобы потом искать их в обучающих данных, публикуют перефразированные варианты задач. Это работает, но проверить чужую дисциплину извне вы не можете — приходится верить на слово.
#Механизм второй: строки таблицы получены в разных условиях
Даже на идеально чистом наборе результат зависит не только от модели. Он зависит от протокола прогона, а протокол в таблицах почти никогда не раскрыт полностью.
Что меняет балл при неизменной модели:
- Квантизация. Замер в исходной точности и замер четырёхбитной версии — это разные измерения. У себя вы, скорее всего, запустите именно квантизованную версию.
- Длина контекста. Прогон с коротким окном и прогон с длинным дают разный результат на задачах, где нужно удерживать условие.
- Системный промпт и примеры в запросе. Развёрнутая инструкция и несколько показательных примеров перед задачей поднимают результат — иногда сильно. В другой строке таблицы примеров могло не быть вовсе.
- Число попыток. Метрика вида «задача засчитана, если хотя бы одна из нескольких сгенерированных попыток прошла проверку» и метрика «одна попытка» дают разные числа для одной и той же модели.
- Самосогласованность. Приём, при котором модель прогоняют по задаче много раз и берут самый частый ответ. Это поднимает точность и умножает стоимость ответа. В вашей рабочей сессии вы получаете одну попытку.
Если в одной строке модель отвечала в исходной точности, с длинным системным промптом и правом на несколько попыток с голосованием, а в другой — четырёхбитная версия с одной попыткой и пустой инструкцией, вы сравниваете не модели, а протоколы.
#Механизм третий: среднее прячет ваш провал
Крупные наборы устроены как объединение множества тематических подмножеств, а в таблицу выносится одно число — среднее. Среднее по десяткам предметных областей ведёт себя как средняя температура: модель может уверенно вытягивать общий балл на естественных науках и логике, проваливая право, медицинскую терминологию или редкую техническую область — ровно ту, ради которой вы её и берёте.
Отсюда два практических вывода. Первый: усреднённая метрика годится только для сравнения весовых категорий, а не для выбора инструмента под задачу. Второй, важный для русскоязычной работы: публичные бенчмарки почти целиком англоцентричны, и результат на них не переносится на русский. Модель, стабильно занимающая верхние строки в англоязычных таблицах, может путать падежи после числительных, разворачивать аббревиатуры наугад и терять род в согласовании. Русского в среднем балле нет вовсе — значит, ответа на ваш вопрос в нём тоже нет.
Что именно измеряет каждый популярный набор и какие подмножества в нём лежат, разобрано в справочнике по тому, что такое MMLU, GSM8K, HumanEval и другие тесты.
#Механизм четвёртый: модель учат сдавать экзамен
Как только метрика становится целью, она перестаёт быть измерением. Формат популярных наборов узнаваем и воспроизводим: вопрос с четырьмя вариантами ответа, задача с одним числовым ответом, функция, проверяемая автотестами. Ничто не мешает сгенерировать миллионы синтетических задач в том же формате и обучить на них модель.
Формально это не жульничество: сам тест в обучение не попадал. Практически результат тот же — модель хорошо отвечает на задачи, оформленные как экзамен, и хуже справляется с тем же содержанием, поданным как рабочая просьба в свободной форме. Ваши задачи выглядят как рабочая просьба.
Побочный эффект того же оптимизационного давления — форматный перекос: модель приучается выдавать развёрнутый структурированный ответ, потому что такой ответ чаще выигрывает при оценке. На голосовых площадках этот перекос виден особенно ясно; механику разбираем отдельно в статье про народные рейтинги и слепое сравнение моделей.
#Что с этим делать при выборе модели
Не выбрасывать таблицы, а понизить их в статусе — с приговора до ориентира.
Сортируйте по классу, а не по местам. Разрыв между моделью на три миллиарда параметров и моделью на тридцать бенчмарк покажет верно. Разрыв между двумя соседями в списке — не покажет.
Смотрите на состав набора, а не на итоговое число. Если в наборе нет задач вашего типа и вашего языка, число к вам не относится, каким бы большим оно ни было.
Отдавайте предпочтение свежим и закрытым наборам. Тест, часть задач которого не опубликована, устойчивее к загрязнению. Тест, вышедший позже даты сбора обучающих данных модели, — тоже.
Не смешивайте разные типы метрик. Балл на прикладном наборе и техническая величина вроде перплексии отвечают на разные вопросы: одна про решение задач, другая про уверенность модели в тексте. Что такое вторая и почему её нельзя сравнивать между разными семействами моделей — в разборе метрики перплексии.
Стройте свою таблицу. Это единственный набор, у которого распределение задач совпадает с вашим. Десяти задач из вашей рабочей недели достаточно, чтобы отсортировать кандидатов надёжнее, чем это сделает любой публичный рейтинг; методика с фиксацией условий и слепой оценкой — в гайде о том, как тестировать модель на своих задачах.
#Где интуиция подводит
«Разница в баллах пропорциональна разнице в качестве». Не пропорциональна. Ближе к верхней части шкалы остаются самые трудные и самые спорные задачи, где на результат влияет разметка и формулировка. Небольшой отрыв там может держаться на десятке пограничных задач, а при повторном прогоне с другим системным промптом поменять знак.
«Закрытый тест — значит, ему можно верить». Закрытость решает ровно одну проблему из четырёх — загрязнение. Несопоставимость условий прогона, усреднение и оптимизация под формат остаются на месте.
«Раз всё так плохо, бенчмарки бесполезны». Обратный перегиб. Они плохо ранжируют близких соседей и хорошо отсекают классы: если модель проваливает базовый набор на многошаговую арифметику, она не начнёт считать лучше в вашей бухгалтерии. Пользуйтесь ими как фильтром грубой очистки — этим же приёмом устроен и общий разбор того, как выбрать модель под задачу и железо.
#Девять вопросов к любой таблице результатов
Прогоните таблицу через этот список до того, как принимать по ней решение. Чем больше вопросов остаются без ответа, тем меньше в ней смысла.
- Кто проводил замер — авторы модели, независимая сторона или анонимный автор поста?
- Указана ли квантизация каждой строки, и одинаковая ли она у всех?
- Указана ли длина контекста, с которой шёл прогон?
- Сколько попыток давалось на задачу и применялось ли голосование по нескольким прогонам?
- Приведены ли системный промпт и число примеров в запросе?
- Набор публичный и давно опубликованный или закрытый и свежий?
- Итог — среднее по подмножествам? Есть ли разбивка по областям?
- Показан ли разброс между прогонами или доверительный интервал, или число подано как точное?
- Есть ли в наборе задачи на вашем языке и из вашей предметной области?
Ответы на первые восемь вопросов вы иногда найдёте в описании методики. Ответ на девятый обычно отрицательный — и именно он чаще всего решает дело.
#Частые вопросы
#Можно ли вообще верить бенчмаркам моделей?
Им можно верить как грубому измерению класса модели и нельзя — как точному ранжированию близких кандидатов. Публичные наборы попадают в обучающие данные, условия прогона у разных строк не совпадают, а среднее скрывает провалы в отдельных областях. Для выбора между двумя моделями одного размера полезнее собственный набор задач.
#Что такое загрязнение тестового набора?
Ситуация, когда задачи из теста оказались в обучающих данных модели, потому что лежали в открытом доступе и попали в веб-корпус. Модель тогда воспроизводит запомненный ответ вместо решения, и её балл завышен. Определить степень загрязнения снаружи невозможно, поэтому свежие и частично закрытые наборы информативнее старых и полностью опубликованных.
#Почему модель с высоким баллом хуже работает на русском?
Потому что подавляющее большинство публичных наборов составлено на английском, и русского в итоговом среднем нет. Высокий балл говорит о работе с английскими формулировками и ничего не говорит о падежах, согласовании и русской терминологии. Качество русского проверяется только руками, на ваших текстах.
#Насколько большой разрыв в баллах имеет значение?
Надёжный ориентир — сравнение весовых категорий, а не десятых долей. Если две модели отличаются на несколько процентов на одном публичном наборе, эта разница легко перекрывается сменой квантизации, системного промпта или длины контекста. Разница между разными классами размеров — уже осмысленный сигнал.
#Чем метрика вроде перплексии отличается от прикладного бенчмарка?
Прикладной набор проверяет, решена ли задача, и его результат сравним между моделями при одинаковом протоколе. Перплексия описывает, насколько модель уверена в тексте, зависит от токенизатора и корпуса и потому не сравнима между разными семействами. Это диагностический показатель для одной модели, а не рейтинг.
#Сколько задач нужно, чтобы проверить модель самому?
Около десяти реальных задач из вашей недели, прогнанных в одинаковых условиях и оценённых вслепую, дают более полезный результат, чем любая публичная таблица. Набор собирается один раз и переиспользуется при каждой следующей смене модели.
#Вывод
Бенчмарк отвечает на вопрос «как эта модель справилась с этим набором в этих условиях». Ваш вопрос звучит иначе: «справится ли она с моей работой на моём железе». Между этими вопросами стоят четыре систематических разрыва — загрязнение, несопоставимые условия, усреднение и оптимизация под формат.
Если вы выбираете весовую категорию — таблицы полезны, берите их и не усложняйте. Если вы выбираете между двумя моделями одного размера или работаете на русском — таблицы вам не ответят, и час на сборку собственного набора задач сэкономит месяц работы с неподходящей моделью.