Тег
#квантизация
Статьи блога Persona с тегом «квантизация» — 8 материалов.
Статей с тегом: 8
Что такое перплексия
Перплексия — мера того, насколько модель удивлена текстом. Полезна для сравнения квантизаций одной модели и бесполезна для сравнения разных моделей между собой.
Своя модельLoRA и QLoRA: в чём разница и что выбрать
QLoRA — это не «улучшенная LoRA», а размен качества и скорости на видеопамять. Разбираем, за счёт чего он работает, и с какого объёма VRAM платить этим разменом уже незачем.
Своя модельКак запустить LLM локально: полное руководство от железа до первого ответа
От «что у меня за железо» до работающей модели: команды проверки, формула памяти, таблица требований по пяти классам моделей и критерий выбора между четырьмя инструментами.
Своя модельКакую модель выбрать под свою задачу и своё железо
Выбор модели решается в два шага: сначала железо отсекает почти всё, потом ваши собственные задачи выбирают из остатка. Разбираем оба шага без единого рейтинга.
ТехнологииКвантизация LLM: чем отличаются Q4 Q5 Q8 и что терять не жалко
Квантизация — обмен качества модели на память. Разбираем уровни от Q8 до Q2, показываем, где проходит точка перелома, и почему Q4_K_M стал практическим стандартом.
Своя модельМодель не влезает в память: шесть вариантов по убыванию боли
Решения выстроены по цене для качества: сначала бесплатные — контекст и квантизация кэша, потом дешёвые, и только в конце смена модели. С оценкой потери на каждой ступени.
Своя модельМодели для слабого железа: таблица по объёму памяти
Таблица построена от железа, а не от моделей: найдите строку со своим объёмом памяти и получите короткий список классов моделей и честное описание того, чего ждать.
ТехнологииСколько нужно VRAM для локальной LLM: формула и таблица
Формула из двух слагаемых — вес модели и KV-кэш под контекст, — по которой вы посчитаете требования любой модели сами, вместо поиска её в чужой таблице.
На этой странице совпадений нет
Живой фильтр ищет только по загруженным карточкам. Нажмите «Найти», чтобы искать по всему блогу.