Тег
#vram
Статьи блога Persona с тегом «vram» — 22 материалов.
Статей с тегом: 22
Что такое KV-кэш
Почему занятая память растёт по мере разговора, хотя модель одна и та же. Это не утечка: движок хранит промежуточные векторы всех обработанных токенов.
ТехнологииЧто такое параметры модели
7B, 14B, 70B — это миллиарды чисел внутри модели. Переводим их в гигабайты на диске и в памяти при разной квантизации, чтобы понять, что вообще запустится.
ТехнологииЧто такое VRAM и чем отличается от оперативной памяти
Разница между видеопамятью и обычной не в объёме, а в скорости чтения. Именно она определяет, сколько токенов в секунду вы увидите.
Своя модельДообучение на своём железе: что реально нужно
Считаем требования к видеопамяти для дообучения по слагаемым, а не по чужим таблицам. Где проходит порог, за которым домашнее обучение перестаёт иметь смысл, и что делать дальше.
Своя модельLoRA и QLoRA: в чём разница и что выбрать
QLoRA — это не «улучшенная LoRA», а размен качества и скорости на видеопамять. Разбираем, за счёт чего он работает, и с какого объёма VRAM платить этим разменом уже незачем.
ТехнологииДве видеокарты под одну модель: когда это работает
Разделение по слоям и тензорный параллелизм — это разные вещи с разными последствиями. Для одного пользователя вторая карта даёт объём памяти, а не скорость.
Своя модельКак запустить LLM локально: полное руководство от железа до первого ответа
От «что у меня за железо» до работающей модели: команды проверки, формула памяти, таблица требований по пяти классам моделей и критерий выбора между четырьмя инструментами.
Своя модельКакую модель выбрать под свою задачу и своё железо
Выбор модели решается в два шага: сначала железо отсекает почти всё, потом ваши собственные задачи выбирают из остатка. Разбираем оба шага без единого рейтинга.
ТехнологииПочему большой контекст съедает видеопамять
Заявленная длина контекста и внезапная нехватка памяти на длинном диалоге — одна и та же величина. Формула объёма KV-кэша и таблица расхода на четыре длины контекста.
ТехнологииКвантизация LLM: чем отличаются Q4 Q5 Q8 и что терять не жалко
Квантизация — обмен качества модели на память. Разбираем уровни от Q8 до Q2, показываем, где проходит точка перелома, и почему Q4_K_M стал практическим стандартом.
Своя модельМодель не влезает в память: шесть вариантов по убыванию боли
Решения выстроены по цене для качества: сначала бесплатные — контекст и квантизация кэша, потом дешёвые, и только в конце смена модели. С оценкой потери на каждой ступени.
Своя модельЛокальная модель тормозит: порядок диагностики
Не список советов, а дерево из семи узлов: каждая ветка отсекает половину гипотез одним замером, и к пятому шагу причина обычно уже названа.
Своя модельМодели для слабого железа: таблица по объёму памяти
Таблица построена от железа, а не от моделей: найдите строку со своим объёмом памяти и получите короткий список классов моделей и честное описание того, чего ждать.
Своя модельМодели на 12-14 миллиардов: шаг вверх и его цена
Переход с восьмимиллиардной модели на четырнадцатимиллиардную даёт связность длинных ответов и стоит скорости. Разбираем, где прирост заметен, а где его нет вовсе.
Своя модельМодели от 30 миллиардов дома: что нужно и что получите
Верхняя граница домашнего запуска: какие конфигурации памяти держат 30B и 70B и почему большая модель с выгрузкой в ОЗУ часто проигрывает меньшей по полезности.
Своя модельМодели на 7-8 миллиардов: рабочая лошадь домашнего ИИ
Класс 7–8B стал стандартом не из-за науки, а потому что влезает в массовые 8 ГБ видеопамяти. Разбираем кандидатов по семействам и границы возможностей размера.
ТехнологииМодели MoE: почему активных параметров меньше чем заявлено
В названии модели сто миллиардов параметров, а отвечает она быстрее четырнадцатимиллиардной. Разбираем архитектуру смеси экспертов и её следствия для памяти.
ТехнологииВыгрузка слоёв в оперативную память: сколько можно и когда бросить
Кривая «доля слоёв на процессоре против скорости» нелинейна — но не в ту сторону, в какую обычно думают. Расчёт, процедура подбора -ngl и критерий, когда выгрузка себя не оправдывает.
Своя модельМодели Qwen: линейка размеры и для чего они хороши
У семейства Qwen есть вариант почти под любой объём видеопамяти. Разбираем размерную сетку, сильную мультиязычность, слабые места и неоднородность лицензий.
Своя модельRTX 3060 12 ГБ для локальных моделей: что влезает
Разбор эталонной бюджетной карты: таблица влезает-не влезает по связкам модель, квантизация и контекст, сильные и слабые стороны, и когда 12 гигабайт перестают хватать.
ТехнологииСколько нужно VRAM для локальной LLM: формула и таблица
Формула из двух слагаемых — вес модели и KV-кэш под контекст, — по которой вы посчитаете требования любой модели сами, вместо поиска её в чужой таблице.
СравненияКакую видеокарту взять под локальные LLM
Единственный работающий критерий выбора — рубль за гигабайт видеопамяти с приемлемой скоростью. Таблица характеристик, методика расчёта и объяснение, почему флагман редко оптимален.
На этой странице совпадений нет
Живой фильтр ищет только по загруженным карточкам. Нажмите «Найти», чтобы искать по всему блогу.