Persona

Тег

#ngl

Статьи блога Persona с тегом «ngl» — 2 материалов.

Статей с тегом: 2

Гайды

llama.cpp: сборка запуск и параметры без магии

Сборка под CUDA, Metal и CPU, запуск модели и разбор флагов, которые реально меняют скорость в разы: -ngl, -c, -t, -fa — с методикой замера эффекта каждого.

9 мин обновлено 25 августа 2026 Технологии

Выгрузка слоёв в оперативную память: сколько можно и когда бросить

Кривая «доля слоёв на процессоре против скорости» нелинейна — но не в ту сторону, в какую обычно думают. Расчёт, процедура подбора -ngl и критерий, когда выгрузка себя не оправдывает.

7 мин обновлено 25 августа 2026