Тег
#бенчмарки
Статьи блога Persona с тегом «бенчмарки» — 5 материалов.
Статей с тегом: 5
Что такое перплексия
Перплексия — мера того, насколько модель удивлена текстом. Полезна для сравнения квантизаций одной модели и бесполезна для сравнения разных моделей между собой.
ТехнологииКак читать бенчмарки LLM и не быть обманутым
Таблица результатов выглядит как показания прибора, но погрешность у этого прибора большая и неизвестная. Разбираем четыре механизма, которыми бенчмарки вводят в заблуждение.
Своя модельКакую модель выбрать под свою задачу и своё железо
Выбор модели решается в два шага: сначала железо отсекает почти всё, потом ваши собственные задачи выбирают из остатка. Разбираем оба шага без единого рейтинга.
ТехнологииНародные рейтинги моделей: что показывает слепое сравнение
На аренах со слепым голосованием длинный аккуратно оформленный ответ обычно выигрывает у короткого и верного. Разбираем механику Elo и три перекоса такого голосования.
ТехнологииMMLU GSM8K HumanEval и другие: что измеряет каждый тест
Расшифровка аббревиатур из карточки модели: что подаётся на вход каждому тесту, что он на самом деле измеряет и какой вывод из его результата делать нельзя.
На этой странице совпадений нет
Живой фильтр ищет только по загруженным карточкам. Нажмите «Найти», чтобы искать по всему блогу.