Persona

Тег

#скорость llm

Статьи блога Persona с тегом «скорость llm» — 2 материалов.

Статей с тегом: 2

Технологии

LLM на процессоре: от чего зависит скорость и что тюнить

На процессоре скорость генерации упирается в пропускную способность оперативной памяти, а не в число ядер. Формула потолка, команда проверки и что из этого следует при выборе железа.

6 мин обновлено 25 августа 2026 Технологии

Сколько токенов в секунду это нормально

Шкала из четырёх диапазонов, привязанная к скорости человеческой речи и чтения, плюс разделение двух величин, которые обычно путают: задержки до первого токена и скорости генерации.

6 мин обновлено 25 августа 2026