Знакомый сценарий: человек долго работал на четырнадцатимиллиардной модели, потом освободил место на диске, скачал тридцатидвухмиллиардную, дождался загрузки — и через два дня вернулся обратно. Не потому, что большая модель отвечала хуже по существу. Ответы были аккуратнее и связнее. Просто на каждый из них уходило столько времени, что задавать вопросы расхотелось, а на длинном документе всё вставало намертво.
Это не редкая неудача и не кривые руки. Это типичный результат запуска большой модели с частичной выгрузкой слоёв в оперативную память, и он предсказуем заранее — арифметикой, до скачивания.
Дата написания текста — 25 августа 2026 года. Ниже нет ни цен на железо, ни цифр производительности: первые устаревают за месяцы, вторые невозможно назвать честно, не зная вашей конфигурации. Есть расчёт памяти и описание того, что вы получите в каждом варианте.
#Что сравниваем и почему это сравнимо
Сравнение идёт между двумя способами потратить один и тот же бюджет памяти: модель на 14 миллиардов, целиком лежащая в видеопамяти, против модели на 30–70 миллиардов, которая туда не помещается и часть слоёв держит в оперативной памяти. Классы сравнимы, потому что решают одни и те же задачи и запускаются одним и тем же рантаймом — различается только то, где физически лежат веса.
Арифметика памяти под веса: число параметров умножить на байт на параметр (FP16 — около 2,0; Q8 — около 1,0; Q5 — около 0,7; Q4 — около 0,55). Отсюда:
32B в Q4 ≈ 17,6 ГБ весов
32B в Q5 ≈ 22,4 ГБ весов
70B в Q4 ≈ 38,5 ГБ весов
70B в Q5 ≈ 49 ГБ весов
Сверху добавляется KV-кэш, растущий линейно с длиной контекста, и запас на систему: веса плюс кэш не должны занимать больше 80–85% доступной памяти. Расчёт с поправками на архитектуру разобран в материале о том, сколько нужно VRAM для локальной модели.
Ключевой момент, который решает всё остальное: скорость генерации упирается не в вычисления, а в пропускную способность памяти, из которой читаются веса на каждый токен. Память видеокарты и системная оперативная память различаются по этой характеристике на порядок. Поэтому слои, уехавшие в ОЗУ, замедляют не пропорционально своей доле, а гораздо сильнее — механика подробно разобрана в статье про оперативную память против VRAM и цену выгрузки слоёв.
#Конфигурации, которые действительно держат 30B и выше
В таблице смотрите не на «сколько гигабайт», а на последний столбец: он про то, каким инструментом вы будете пользоваться каждый день, а не про то, что технически загрузится.
| Конфигурация | Как набирается память | Что влезает | Что реально получите |
|---|---|---|---|
| Одна карта на 24 ГБ | Единый пул видеопамяти | 30–32B в Q4 целиком | Рабочий инструмент: связные длинные ответы при приемлемом ожидании |
| Две карты по 16–24 ГБ | Слои делятся между картами | 32B в Q5 или 70B в Q4 впритык | Работает, но добавляется обмен между картами и возня с настройкой |
| Apple с 48–64 ГБ объединённой памяти | Общий пул для процессора и графики | 32B свободно, 70B в Q4 при 64 ГБ | Тихо, экономично по энергии, скорость ниже дискретной карты того же объёма |
| 12–16 ГБ VRAM + выгрузка в ОЗУ | Часть слоёв в видеопамяти, часть в системной | Формально 32B и даже 70B | Загрузится и будет отвечать, но ожидание чаще всего неприемлемое |
| Только процессор и ОЗУ | Всё в системной памяти | Ограничено только объёмом ОЗУ | Пакетный режим: задал задачу, ушёл, вернулся за ответом |
Вывод из таблицы: настоящих домашних вариантов под 30B+ два — одна карта на 24 ГБ и объединённая память Apple. Две карты добавляют объём, но и сложность: как это устроено и какие подводные камни у сборки, разобрано в материале про две видеокарты для локальных моделей, а вариант набрать объём подешевле — в разборе бывших в употреблении видеокарт под LLM. Строки четвёртая и пятая — это не «бюджетный способ запустить большую модель», а другой сценарий использования.
#Честное сравнение с четырнадцатимиллиардной моделью
Теперь то, ради чего статья написана. Сравниваются два варианта на одной и той же машине с 12–16 ГБ видеопамяти: 14B целиком на карте против 32B с выгрузкой части слоёв в ОЗУ.
| Свойство | 14B целиком в VRAM | 32B с выгрузкой в ОЗУ |
|---|---|---|
| Качество отдельного ответа | Хорошее | Заметно лучше на сложных задачах |
| Время ожидания | Приемлемое для диалога | Кратно больше, зависит от доли выгруженных слоёв |
| Длинный контекст | Работает, ограничен запасом VRAM | Ухудшается резко: кэш тоже уезжает в ОЗУ |
| Итераций за час работы | Много | Единицы |
| Вероятность, что вы этим пользуетесь через месяц | Высокая | Низкая, по опыту типичного сценария |
Вывод из сравнения неудобный, но устойчивый: полезность — это качество ответа, умноженное на число попыток, которые вы готовы сделать. Работа с моделью почти никогда не состоит из одного вопроса: вы уточняете, переформулируете, просите переделать. Модель, дающая ответ на балл лучше, но позволяющая сделать одну попытку вместо десяти, проигрывает по итогу. Что даёт средний класс и чем за это платит, разобрано в сравнении моделей на 12–14 миллиардов.
Исключение из правила существует, и оно конкретное: пакетные задачи без диалога. Разобрать сто документов ночью, сделать одно сложное рассуждение, на которое вы готовы ждать, перевести большой текст без интерактивной правки. Здесь ожидание вас не касается, и большая модель с выгрузкой действительно даёт лучший результат.
#Где четырнадцатимиллиардный класс объективно лучше
Раздел обязательный: без него текст был бы агитацией за большие модели.
Интерактивность. Всё, что делается в диалоге — уточнение задачи, правка формулировок, разбор кода в несколько заходов, — требует быстрого цикла. Средний класс даёт цикл, старший на слабой конфигурации его ломает.
Длинный контекст на доступной памяти. У 14B в Q4 на карте с 16 ГБ остаётся несколько гигабайт под KV-кэш. У 32B на той же карте не остаётся ничего, и длинный документ добивает конфигурацию окончательно.
Предсказуемость. Модель, целиком лежащая в видеопамяти, отвечает одинаково быстро на первом и на сотом сообщении. Конфигурация с выгрузкой ведёт себя тем хуже, чем длиннее диалог.
Совместная работа с другими моделями. Embed-модель для поиска по своим записям, модель распознавания изображений, модель для автодополнения кода — всё это требует места. Со старшим классом места нет.
Цена входа. Тридцатимиллиардный класс комфортен начиная с 24 ГБ видеопамяти или сопоставимой объединённой памяти. Четырнадцатимиллиардный — с 12 ГБ. Это разные бюджеты и разные корпуса.
Кому стоит выбрать не 30B+, а 14B: всем, кто работает с моделью в диалоге и не имеет карты на 24 ГБ. Это большинство читателей, и притворяться иначе смысла нет.
#Кому что подойдёт
- 24 ГБ видеопамяти, сложные рассуждения и код — 30–32B в Q4 целиком на карте. Это верхняя разумная граница одной потребительской карты.
- Apple с 48–64 ГБ объединённой памяти — тот же класс свободно, при 64 ГБ открывается 70B в Q4; скорость ниже дискретной карты, зато без шума и с большим объёмом.
- 12–16 ГБ и работа в диалоге — 14B целиком в видеопамяти, не соблазняйтесь выгрузкой.
- 12–16 ГБ и пакетные задачи по ночам — 32B с выгрузкой имеет смысл именно в этом режиме, но держите вторую модель для интерактивной работы.
- 70B дома — только если у вас две карты или большая объединённая память; на выгрузке в ОЗУ это уже не инструмент, а эксперимент.
Если бюджет памяти вы ещё не считали, начинать нужно с него: порядок «сначала железо, потом задачи» разобран в руководстве о том, какую модель выбрать под свою задачу и своё железо.
#Частые вопросы
#Можно ли запустить модель на 70 миллиардов параметров дома?
Технически да: в четырёхбитной квантизации веса занимают около 38,5 ГБ, и такой объём набирается двумя картами или объединённой памятью Apple от 64 ГБ. На одной потребительской карте с 24 ГБ модель целиком не поместится и часть слоёв уедет в оперативную память, что резко увеличит время ответа.
#Сколько видеопамяти нужно для модели на 32 миллиарда параметров?
В Q4 веса займут примерно 17,6 ГБ, плюс KV-кэш под контекст. Комфортный минимум — карта на 24 ГБ, где остаётся запас на кэш и систему. На 16 ГБ такая модель целиком не влезает, и начинается выгрузка слоёв.
#Почему большая модель отвечает медленнее, чем ожидалось?
Скорость генерации ограничена пропускной способностью памяти, из которой читаются веса на каждый токен, а не вычислительной мощностью. Системная оперативная память по этому параметру на порядок медленнее видеопамяти, поэтому выгруженные слои замедляют не пропорционально своей доле, а значительно сильнее.
#Что лучше: 32B с выгрузкой в ОЗУ или 14B целиком на карте?
Для диалоговой работы почти всегда лучше 14B целиком: вы делаете больше попыток за то же время, а именно число попыток определяет полезность. Для пакетных задач без интерактива, где ожидание не мешает, выгоднее большая модель. Проверить стоит на своих задачах, замерив не качество одного ответа, а результат за час работы.
#Даёт ли вторая видеокарта прямое ускорение?
Прямого ускорения генерации она не даёт: слои делятся между картами, и между ними появляется обмен данными. Вторая карта решает задачу объёма — позволяет держать целиком модель, которая не влезала в одну. Настройка распределения слоёв требует времени и не всегда проходит гладко.
#Стоит ли брать 30B в более грубой квантизации ради экономии памяти?
Ниже четырёх бит деградация становится заметной невооружённым глазом, и в этой точке большая модель начинает проигрывать меньшей в нормальной квантизации. Практическая граница для домашнего запуска — Q4; спускаться ниже стоит только ради эксперимента, а не ради ежедневной работы.
#Вывод
Верхняя граница домашнего запуска проходит там, где модель ещё помещается в видеопамять целиком. Всё, что за этой границей, работает по правилам оперативной памяти, а они на порядок медленнее, и потеря скорости не компенсируется приростом качества в интерактивной работе.
Если у вас 24 ГБ видеопамяти — тридцатимиллиардный класс ваш, и он даёт ощутимо более связные ответы. Если у вас Apple с большой объединённой памятью — вам доступен и 70B, ценой скорости. Если у вас 12–16 ГБ и вы работаете в диалоге — оставайтесь на четырнадцатимиллиардной модели: она проиграет в качестве одного ответа и выиграет по результату за час. И если вы всё-таки хотите большую модель на скромной карте, заводите её сознательно как ночной пакетный инструмент, а не как основной чат.