Тег
#gguf
Статьи блога Persona с тегом «gguf» — 8 материалов.
Статей с тегом: 8
Что такое ONNX
Универсальный формат обмена нейросетями и рантайм к нему. Разбираем, почему в нём живут распознавание речи и эмбеддинги, а языковые модели чаще запускают в GGUF.
Своя модельКонвертация дообученной модели в GGUF и запуск локально
Последний разрыв маршрута: от папки с весами после обучения до модели, которая отвечает в вашем ассистенте. Команды конвертации и квантизации, Modelfile и проверка результата.
ТехнологииФормат GGUF: что внутри файла модели и почему он победил
Разбор контейнера GGUF: заголовок, метаданные, тензоры и шаблон чата внутри одного файла — и почему именно шаблон решает половину проблем со странными ответами модели.
ГайдыJan: открытая альтернатива LM Studio для локальных моделей
Настройка Jan по шагам и честная таблица того, что есть в LM Studio и чего в Jan пока нет — чтобы выбор в пользу открытости был осознанным, а не разочаровывающим.
ГайдыКак запустить модель Hermes локально
Главная причина, по которой модель после скачивания отвечает не так, как ожидалось, — шаблон чата. Разбираем загрузку, шаблон и проверку вызова инструмента.
ТехнологииКвантизация LLM: чем отличаются Q4 Q5 Q8 и что терять не жалко
Квантизация — обмен качества модели на память. Разбираем уровни от Q8 до Q2, показываем, где проходит точка перелома, и почему Q4_K_M стал практическим стандартом.
Гайдыllama.cpp: сборка запуск и параметры без магии
Сборка под CUDA, Metal и CPU, запуск модели и разбор флагов, которые реально меняют скорость в разы: -ngl, -c, -t, -fa — с методикой замера эффекта каждого.
ГайдыLM Studio: локальные модели для тех кто не хочет терминал
Пошаговая настройка LM Studio, разбор вкладки параметров загрузки модели и честная заметка о том, что это закрытое приложение со своими условиями использования.
На этой странице совпадений нет
Живой фильтр ищет только по загруженным карточкам. Нажмите «Найти», чтобы искать по всему блогу.