Persona

Тег

#flash attention

Статьи блога Persona с тегом «flash attention» — 2 материалов.

Статей с тегом: 2

Гайды

Flash Attention и квантизация KV-кэша: как выиграть память

Две настройки, дающие самый большой выигрыш видеопамяти при почти нулевой потере качества. Точные флаги для llama.cpp и Ollama и расчёт экономии по четырём связкам.

6 мин обновлено 25 августа 2026 Гайды

llama.cpp: сборка запуск и параметры без магии

Сборка под CUDA, Metal и CPU, запуск модели и разбор флагов, которые реально меняют скорость в разы: -ngl, -c, -t, -fa — с методикой замера эффекта каждого.

9 мин обновлено 25 августа 2026