Тег
#llama.cpp
Статьи блога Persona с тегом «llama.cpp» — 8 материалов.
Статей с тегом: 8
Две видеокарты под одну модель: когда это работает
Разделение по слоям и тензорный параллелизм — это разные вещи с разными последствиями. Для одного пользователя вторая карта даёт объём памяти, а не скорость.
ГайдыFlash Attention и квантизация KV-кэша: как выиграть память
Две настройки, дающие самый большой выигрыш видеопамяти при почти нулевой потере качества. Точные флаги для llama.cpp и Ollama и расчёт экономии по четырём связкам.
ТехнологииФормат GGUF: что внутри файла модели и почему он победил
Разбор контейнера GGUF: заголовок, метаданные, тензоры и шаблон чата внутри одного файла — и почему именно шаблон решает половину проблем со странными ответами модели.
Своя модельКак запустить LLM локально: полное руководство от железа до первого ответа
От «что у меня за железо» до работающей модели: команды проверки, формула памяти, таблица требований по пяти классам моделей и критерий выбора между четырьмя инструментами.
Гайдыllama.cpp: сборка запуск и параметры без магии
Сборка под CUDA, Metal и CPU, запуск модели и разбор флагов, которые реально меняют скорость в разы: -ngl, -c, -t, -fa — с методикой замера эффекта каждого.
Гайдыllama.cpp server: свой OpenAI-совместимый эндпоинт
Одна команда поднимает локальный эндпоинт, к которому подключается любой клиент, ожидающий API OpenAI. Пример запроса и таблица полей, которые действительно поддерживаются.
ГайдыLLM на Apple Silicon: unified memory и её пределы
Mac выигрывает по объёму доступной модели памяти и проигрывает по скорости обработки промпта. Таблица пропускной способности по чипам и разбор асимметрии, о которой обычно молчат.
СравненияOllama против llama.cpp: когда обёртка мешает
Не «что лучше», а шесть конкретных ситуаций, в которых удобство Ollama начинает стоить производительности или контроля — с протоколом замера, который вы повторите у себя.
На этой странице совпадений нет
Живой фильтр ищет только по загруженным карточкам. Нажмите «Найти», чтобы искать по всему блогу.