Тег
#метрики
Статьи блога Persona с тегом «метрики» — 6 материалов.
Статей с тегом: 6
Почему в ассистенте не должно быть баллов продуктивности
Счётчик продуктивности выглядит безобидно, но меняет поведение сильнее, чем любая функция ассистента. Разбираем механику подмены цели, показываем два отчёта на одних данных и признаём, где мы сами себе противоречим.
ТехнологииЧто такое перплексия
Перплексия — мера того, насколько модель удивлена текстом. Полезна для сравнения квантизаций одной модели и бесполезна для сравнения разных моделей между собой.
ОсновыЛичный ИИ и выгорание: почему у нас нет баллов продуктивности
Счётчики в трекере усиливают тревогу вместо того, чтобы помогать. Разбираем механизм на примере двух отчётов о дне, построенных на одних и тех же данных.
ПродуктивностьУчёт времени без ручного ввода
Ручной трекер бросают на второй неделе не из-за лени, а из-за стоимости переключения. Разбираем, как считается время без таймера, куда девается погрешность и почему автоматическая картина менее точна, но честнее ручной.
ТехнологииКак читать бенчмарки LLM и не быть обманутым
Таблица результатов выглядит как показания прибора, но погрешность у этого прибора большая и неизвестная. Разбираем четыре механизма, которыми бенчмарки вводят в заблуждение.
ТехнологииMMLU GSM8K HumanEval и другие: что измеряет каждый тест
Расшифровка аббревиатур из карточки модели: что подаётся на вход каждому тесту, что он на самом деле измеряет и какой вывод из его результата делать нельзя.
На этой странице совпадений нет
Живой фильтр ищет только по загруженным карточкам. Нажмите «Найти», чтобы искать по всему блогу.