Своя модель

Модели на 12-14 миллиардов: шаг вверх и его цена

Переход с восьмимиллиардной модели на четырнадцатимиллиардную даёт связность длинных ответов и стоит скорости. Разбираем, где прирост заметен, а где его нет вовсе.

У вас работает восьмимиллиардная модель, к ней нет прямых претензий, но есть ощущение потолка: на длинном ответе она теряет условие из первого абзаца, на разборе документа отвечает мимо середины, на коде путается в зависимостях. Вы смотрите на карту с 12 или 16 ГБ видеопамяти и думаете, не скачать ли четырнадцатимиллиардную — она влезет.

Влезет. Вопрос в другом: что именно вы получите за потерянную скорость и за съеденный запас памяти, и не окажется ли, что на ваших конкретных задачах вы не заметите разницы вовсе. Ответ зависит от типа работы гораздо сильнее, чем от семейства модели.

Дата написания текста — 25 августа 2026 года. Сравниваются размерные классы, а не конкретные версии: версии сменятся раньше, чем эта статья устареет по существу. Свойства семейств и лицензий требуют перепроверки на странице выбранной модели.

#Почему эти два класса вообще сравнимы

Классы 7–8B и 12–14B стоят на одной шкале: та же архитектура в основе, те же форматы квантизации, тот же способ запуска. Различаются они числом параметров примерно вдвое, и всё остальное следует из этого механически. Что представляет собой младший класс и почему он стал массовым, разобрано в обзоре моделей на 7–8 миллиардов параметров, а общая процедура — сначала бюджет памяти, потом свои задачи — в руководстве о том, какую модель выбрать под задачу и железо.

Память считается арифметикой. При Q4 (примерно 0,55 байта на параметр) восьмимиллиардная модель просит около 4,4 ГБ под веса, четырнадцатимиллиардная — около 7,7 ГБ. Добавьте KV-кэш, растущий линейно с длиной контекста, и запас на систему: практическое правило — веса плюс кэш не больше 80–85% доступной видеопамяти. Отсюда простое следствие: 14B в Q4 комфортно живёт на карте с 12 ГБ, а на 8 ГБ — уже нет. Полный расчёт с поправками на архитектуру — в материале о том, сколько нужно VRAM для локальной модели, а разбор самой популярной карты этого класса — в статье про RTX 3060 на 12 ГБ под локальные модели.

Скорость считается так же механически и без выдуманных цифр: при прочих равных время генерации токена растёт примерно пропорционально числу параметров, то есть удвоение размера примерно вдвое замедляет ответ. Конкретные значения на вашей машине покажет только замер; что считать нормой и как мерить — в материале о том, сколько токенов в секунду считается нормальной скоростью.

#Что старший класс делает лучше

Прирост при переходе на 12–14B ощущается не как «модель больше знает». Знания растут слабо. Растёт другое.

Связность длинного ответа. Ответ на два-три экрана сохраняет структуру, не сваливается в повтор и не забывает ограничение, поставленное в начале.

Удержание условий. Задача с четырьмя-пятью одновременными требованиями («сохрани термины, уложись в объём, не используй списки, сохрани нумерацию») выполняется чаще целиком, а не наполовину.

Работа с чужим кодом. Не написание с нуля, а понимание уже существующего фрагмента и правка в нём с оглядкой на остальное.

Меньше уверенной выдумки. Старший класс чаще признаёт незнание вместо того, чтобы сочинить правдоподобный ответ. Полностью это не лечится ни на одном размере.

Стабильность формата на длинной дистанции. Схема выдерживается до конца длинного списка, а не до пятого пункта.

#Таблица: где прирост есть, а где его нет

В таблице нет ни процентов, ни токенов в секунду — потому что честно назвать их нельзя: они зависят от карты, квантизации, длины контекста и конкретной версии модели. Смотреть нужно на характер изменения и на способ проверить его у себя за десять минут.

Тип задачи Характер изменения Как проверить у себя
Переформулирование, вычитка, смена тона Отсутствует или на грани различимости Один текст, оба варианта, слепая оценка через день
Черновик письма, объявления Малозаметный Три черновика от каждой, считайте правки до отправки
Извлечение фактов из данного текста Малозаметный Документ с ответом в середине, десять вопросов
Разбор длинного документа Заметный Вопрос по факту из середины текста на 3–5 тысяч слов
Многошаговая инструкция, план Заметный Задача с 4–5 одновременными условиями, считайте нарушенные
Правка в чужом коде Заметный Реальный фрагмент из вашего проекта с двумя зависимостями
Логика и математика в несколько шагов Заметный, но нестабильный Пять однотипных задач, смотрите разброс ответов
Строгий JSON без лишних слов Малозаметный, решается промптом Двадцать запросов подряд, считайте сбои формата
Скорость ответа Ухудшение, примерно пропорционально размеру Один и тот же длинный запрос, замер на своей машине

Вывод из таблицы: переход окупается там, где нужно удерживать много всего одновременно, и почти не окупается там, где модель преобразует данный ей текст. Если ваши задачи собраны в верхних строках — платить скоростью не за что.

#Цена перехода, которую замечают не сразу

Помимо очевидного замедления есть три расхода, о которых вспоминают уже после установки.

Запас памяти съеден. На 12 ГБ четырнадцатимиллиардная модель в Q4 оставляет заметно меньше места под KV-кэш. Практически это означает более короткий рабочий контекст либо риск, что длинный документ уронит генерацию. Иногда выбор стоит так: 14B с коротким контекстом или 8B с длинным — и для разбора документов вторая конфигурация полезнее.

Квантизация уходит вниз. Чтобы 14B влезла с запасом, часто приходится брать Q4 вместо Q5. Часть прироста от размера съедается более грубым форматом весов — не вся, но заметная.

#Где восьмимиллиардный класс объективно лучше

Раздел обязательный, и он не про мнимые недостатки старшего класса.

Отзывчивость. Разница во времени ответа — это разница между «инструмент под рукой» и «инструмент, который я открою, когда будет время». На коротких бытовых задачах младший класс отвечает быстрее ровно в той степени, в какой он меньше, и это единственное свойство, которое влияет на частоту использования сильнее качества.

Длинный контекст на той же карте. На 12 ГБ младшая модель оставляет несколько гигабайт под KV-кэш. Это буквально означает, что она удержит документ, на котором старшая упрётся в память. Для работы с длинными текстами это перевешивает разницу в связности.

Больше вариантов под язык. Дообучений под русский в младшем классе объективно больше, и подходящее по стилистике находится чаще. Экосистема вокруг него плотнее в целом.

Честная формулировка: если ваша основная работа — переписка, вычитка и короткие ответы, переход на 14B ухудшит ваш ежедневный опыт и почти ничего не даст взамен.

#Кому что подойдёт

  • 12 ГБ видеопамяти, разбор документов и код — берите 14B в Q4, следите за длиной контекста, держите младшую модель второй для быстрых задач.
  • 12 ГБ, но работа — переписка и тексты — оставайтесь на 8B в Q5 с длинным контекстом, вы ничего не теряете.
  • 16 ГБ — 14B в Q5 без компромиссов по контексту, самый комфортный сценарий класса.
  • 8 ГБ — переход не ваш вопрос: 14B либо не влезет, либо влезет с выгрузкой в оперативную память, что убивает смысл.
  • 24 ГБ и выше и запрос на сложные рассуждения — смотрите не сюда, а на следующий класс; что он реально даёт дома, разобрано в разборе моделей от 30 миллиардов на домашнем железе.

#Частые вопросы

#Что даст переход с 8B на 14B?

Заметный прирост в связности длинных ответов, в удержании нескольких условий одновременно и в работе с чужим кодом. Почти нулевой прирост в переформулировании, вычитке и извлечении фактов из данного текста. Платите вы скоростью генерации и запасом памяти под контекст.

#Влезет ли модель на 14 миллиардов в 12 ГБ видеопамяти?

В четырёхбитной квантизации веса займут около 7,7 ГБ, и на карте с 12 ГБ остаётся место под KV-кэш и систему. Работать будет, но запас под длинный контекст ограничен. В Q5 та же модель просит примерно 10 ГБ под веса, и на 12 ГБ это уже впритык.

#Насколько 14B медленнее 8B?

При прочих равных время генерации растёт примерно пропорционально числу параметров, то есть замедление ожидается около двукратного. Реальная цифра зависит от карты, квантизации, длины контекста и от того, целиком ли модель лежит в видеопамяти. Единственный достоверный ответ — замер на вашей машине одним и тем же запросом.

#12B и 14B — это разные классы?

Практически один и тот же класс: требования к памяти и характер поведения близки, разница внутри него меньше разницы между семействами. Выбирать между ними по числу параметров смысла мало, выбирайте по языку, лицензии и результатам на своих задачах.

#Стоит ли брать 14B в Q4 вместо 8B в Q8 при одинаковой памяти?

Обычно да: разница между соседними размерными классами больше, чем потеря качества от квантизации до четырёх бит. Ниже четырёх бит соотношение меняется и деградация становится видна невооружённым глазом. Проверять стоит на своих задачах, а не по общему правилу.

#Можно ли держать обе модели и переключаться?

Да, и это разумная схема: младшая для быстрых бытовых задач, старшая для разбора документов и кода. Ограничение — не место на диске, а видеопамять: одновременно в неё поместится только одна, переключение стоит времени на загрузку.

#Вывод

Переход с 8B на 14B — это покупка связности за скорость. Покупка выгодная, если ваш день состоит из разбора документов, многошаговых инструкций и правок в чужом коде. Покупка бессмысленная, если вы преобразуете тексты и пишете письма: там прирост на грани различимости, а замедление вы почувствуете сразу.

Если у вас 12 ГБ и смешанные задачи — держите обе модели и переключайтесь осознанно. Если у вас 16 ГБ и работа со сложными текстами — берите 14B в Q5 и не оглядывайтесь. Если у вас 8 ГБ — этот вопрос закрыт арифметикой, а не вкусом.

Хотите ИИ, который помнит вас?

Persona держит контекст между чатами и работает на вашем железе — если развернуть её у себя и подключить локальную модель.

Создать аккаунт