Вы открываете карточку модели, а под описанием — строка из аббревиатур: MMLU, GSM8K, HumanEval, рядом ARC и IFEval, у кого-то ещё MATH и TruthfulQA. Каждая с числом. Что из этого относится к вашей работе — к разбору писем, к коду, к пересказу длинных документов — из строки не следует никак, потому что аббревиатура не объясняет, какие задачи внутри и как они проверялись.
Эта статья — справочник по формату. Для каждого популярного набора сказано, что модель получает на вход, что при этом измеряется и — главное — какой вывод из результата делать нельзя. Конкретных баллов здесь нет намеренно: они меняются с каждой версией модели и с каждым изменением протокола прогона, а формат теста не меняется годами. Дата написания — 25 августа 2026 года.
#Ответ одним абзацем
Каждый набор проверяет узкий срез поведения: MMLU — выбор правильного варианта в вопросах по школьным и вузовским предметам, GSM8K — многошаговый счёт в текстовых задачах, HumanEval — написание функции по описанию с проверкой автотестами. Все остальные аббревиатуры устроены так же: набор задач плюс механический способ проверки ответа. Ни один из них не измеряет «интеллект» и почти ни один не измеряет работу на русском языке.
#Как устроен любой такой набор
Три части, и понимание каждой сразу снимает половину вопросов.
Задачи. Фиксированный список из некоторого количества примеров — от нескольких сотен до нескольких тысяч в зависимости от набора; точное число смотрите в описании конкретного набора, оно к тому же меняется от редакции к редакции.
Способ проверки. Здесь проходит главное различие. Ответ может сверяться с эталоном буквально (выбранная буква варианта, число), проверяться запуском кода на тестах или оцениваться другой моделью-судьёй. Первые два способа воспроизводимы, третий зависит от того, какая модель судит и каким промптом.
Агрегирование. Итог — доля решённых задач, часто усреднённая по тематическим подмножествам. Именно на этом шаге теряется информация: одно число вместо распределения по областям.
К этому добавляется протокол прогона — квантизация, длина контекста, число примеров в запросе, число попыток. Он в таблицах раскрывается редко и меняет результат сильно; подробнее об этом — в разборе того, как читать бенчмарки и не быть обманутым.
#Три аббревиатуры, которые встречаются чаще всего
#MMLU
Вопросы с несколькими вариантами ответа по широкому набору предметных областей — от школьной программы до профессиональных дисциплин вроде права и медицины. Модель должна выбрать вариант, ответ сверяется буквально.
Что это даёт: оценку эрудиции и способности выбрать верный вариант из предложенных. Чего не даёт: представления о том, как модель формулирует свободный текст, — выбор буквы и написание абзаца это разные умения. Кроме того, вопрос с вариантами угадывается с ненулевой вероятностью, поэтому нижняя граница шкалы у такого формата не нулевая.
#GSM8K
Текстовые задачи школьного уровня, требующие нескольких последовательных арифметических действий: посчитать, сколько осталось, во сколько раз больше, сколько получится через неделю. Проверяется итоговое число.
Что это даёт: оценку способности удержать многошаговую цепочку и не потерять величину по дороге. Чего не даёт: вывода о математике вообще — доказательства, алгебраические преобразования и работа с формулами здесь не проверяются. Отдельно стоит помнить, что результат на таком наборе сильно зависит от того, разрешили ли модели рассуждать вслух перед ответом.
#HumanEval
Генерация функции на Python по описанию в комментарии-заготовке. Сгенерированный код запускается на скрытых автотестах: прошёл — задача засчитана.
Что это даёт: оценку способности написать короткую самодостаточную функцию с однозначной спецификацией. Чего не даёт: ничего о работе с чужим кодом, о правках в большом файле, о понимании архитектуры проекта и о языках, кроме проверяемого. Практическое различие между «дополняет код» и «обсуждает код» разобрано в обзоре моделей для программирования — и HumanEval относится к первой половине, причём к самой простой её части.
#Остальные сокращения из карточек моделей
В таблице ниже смотрите прежде всего последнюю колонку: именно из неё видно, где балл обычно перетолковывают. Первая колонка — название, вторая — что модель получает и как проверяется ответ, третья — что при этом измеряется.
| Набор | Формат и проверка | Что измеряет | Что балл НЕ значит |
|---|---|---|---|
| MMLU | Вопрос с вариантами, сверка буквы | Широта фактических знаний | Что модель хорошо пишет и рассуждает свободным текстом |
| GSM8K | Текстовая задача, сверка числа | Многошаговый арифметический счёт | Что модель владеет математикой сложнее школьной |
| HumanEval | Функция по описанию, запуск тестов | Написание короткой функции с нуля | Что модель справится с правкой большого проекта |
| MATH | Задачи олимпиадного уровня, сверка ответа | Формальные преобразования и вывод | Что модель не ошибётся в бытовых расчётах |
| ARC | Научные вопросы с вариантами | Рассуждение поверх школьных знаний | Что модель применит это к вашей предметной области |
| HellaSwag | Выбор правдоподобного продолжения ситуации | Бытовой здравый смысл | Что модель фактически точна |
| TruthfulQA | Вопросы-ловушки на расхожие мифы | Устойчивость к популярным заблуждениям | Что модель не выдумывает факты вообще |
| MT-Bench | Многоходовой диалог, оценивает модель-судья | Качество ответа в свободной форме | Что оценка объективна: судья тоже модель |
| IFEval | Инструкция с проверяемым условием формата | Точность следования указаниям | Что содержание ответа верное |
Общий вывод из таблицы: наборы делятся на две группы. Первая — с механической проверкой (сверка ответа, запуск тестов): воспроизводимая, но узкая. Вторая — с оценкой моделью-судьёй: шире по охвату, но вносит собственные искажения, в том числе предпочтение длинных и хорошо отформатированных ответов. Тот же перекос лежит в основе площадок со слепым голосованием людей, разобранных в статье про народные рейтинги моделей.
#Что из этого следует, когда вы выбираете модель
Берите тот набор, чей формат ближе к вашей работе. Если вы пишете письма и пересказываете документы, ни MMLU, ни GSM8K, ни HumanEval к вам не относятся вовсе — они проверяют выбор варианта, счёт и генерацию функции. Ближе всего будут наборы со свободным ответом и наборы на следование инструкции.
Считайте отсутствующее. Русский язык не измеряется почти нигде: публичные наборы англоцентричны, и результат на них на русский не переносится. Длинный контекст, работа с вашими терминами, поведение при отказе от ответа — тоже вне охвата.
Не складывайте баллы в одну оценку. «Средний уровень по четырём наборам» — величина без содержания: наборы измеряют несопоставимые вещи и имеют разные шкалы.
Отличайте прикладной набор от технической метрики. Перплексия, которую иногда ставят в тот же ряд, отвечает на другой вопрос и не сравнима между семействами моделей — разбор в материале о метрике перплексии и её ограничениях.
Общая рамка выбора, куда эти наборы встраиваются как один из фильтров, — в статье о том, какую модель выбрать под задачу и железо.
#Где интуиция подводит
«Название теста говорит, что он проверяет». Не говорит. Набор с «math» в названии может состоять из олимпиадных задач с формальным выводом, а не из бытовых расчётов, и результат на нём не предскажет, ошибётся ли модель в проценте от суммы.
«Все наборы измеряют одно и то же, просто по-разному». Между выбором буквы из четырёх, генерацией кода под автотесты и оценкой диалога другой моделью нет ничего общего, кроме итогового процента. Совпадение шкалы создаёт иллюзию сопоставимости.
«Если тест старый, он проще». Скорее наоборот: старый набор чаще оказывается в обучающих данных, и высокий результат на нём говорит о памяти модели не меньше, чем о её способностях.
#Частые вопросы
#Что такое MMLU простыми словами?
Это набор вопросов с вариантами ответа по множеству учебных и профессиональных предметов. Модель выбирает вариант, ответ сверяется с эталоном, итог — доля правильных выборов, усреднённая по областям. Он показывает широту фактических знаний и ничего не говорит о качестве свободного текста.
#Чем GSM8K отличается от MATH?
GSM8K — текстовые задачи школьного уровня, где нужно выполнить несколько арифметических шагов и получить число. MATH — задачи существенно сложнее, ближе к олимпиадным, с формальными преобразованиями. Хороший результат на первом не предсказывает результат на втором, и наоборот.
#HumanEval показывает, насколько модель хороша в коде?
Он показывает узкий срез: написание короткой самодостаточной функции по однозначному описанию, с проверкой автотестами. Работа с существующим проектом, правки в большом файле, чтение чужого кода и другие языки в нём не проверяются. Для выбора модели под код этого сигнала недостаточно.
#Есть ли бенчмарки для русского языка?
Отдельные русскоязычные наборы существуют, но в карточках моделей публикуют, как правило, англоязычные. Балл на англоязычном наборе на русский не переносится: модель может быть в верхней части таблицы и при этом путать падежи после числительных. Проверять русский приходится своими текстами.
#Почему одна и та же модель имеет разные баллы в разных таблицах?
Потому что результат зависит не только от модели: на него влияют квантизация, длина контекста, системный промпт, число примеров в запросе и число разрешённых попыток. Две таблицы с разными протоколами дают разные числа для одной модели, и это нормально. Сравнивать строки можно только внутри одного протокола.
#Какой бенчмарк смотреть, если я выбираю модель для повседневной переписки?
Ближе всего наборы со свободным ответом и наборы на точность следования инструкции, но и они дадут лишь грубый ориентир. Для повседневной переписки решает качество языка, а его надёжнее проверить десятком собственных писем, прогнанных через кандидатов в одинаковых условиях.