Своя модель

Модели на 7-8 миллиардов: рабочая лошадь домашнего ИИ

Класс 7–8B стал стандартом не из-за науки, а потому что влезает в массовые 8 ГБ видеопамяти. Разбираем кандидатов по семействам и границы возможностей размера.

Откройте любой каталог локальных моделей и посмотрите на распределение размеров. Подавляющее большинство популярных вариантов — 7 или 8 миллиардов параметров. Не пять, не девять, не одиннадцать. Возникает ощущение, что исследователи нащупали какое-то естественное оптимальное число, вокруг которого теперь все и работают.

Никакого оптимума нет. Ряд 7B появился как младшая ступень в первом поколении открытых весов, разошедшемся по домашним машинам, и закрепился по одной причине: четырёхбитная версия такой модели занимает около 4 ГБ, а 8 ГБ видеопамяти — самая массовая конфигурация игровых карт последнего десятилетия. Между весами и видеопамятью остаётся запас на KV-кэш и на систему. Размер оказался тем, что помещается, а не тем, что оптимально с точки зрения обучения.

Дальше сработала обратная связь. Раз размер запускается у всех — под него делают дообучения, пишут гайды, тестируют инструменты. Каждое следующее семейство выпускает младшую модель именно в этом классе, иначе её никто не попробует. Восемь миллиардов вместо семи появились позже, и заметная часть разницы приходится не на глубину сети, а на выросший словарь токенизатора и связанные с ним таблицы эмбеддингов — практически это тот же класс.

Дата написания текста — 25 августа 2026 года. Свойства конкретных версий моделей меняются быстро, поэтому ниже нет ни баллов, ни рейтингов: только устойчивые характеристики семейств и арифметика памяти. Факты о лицензиях проверялись на эту дату и требуют перепроверки на странице конкретной модели.

#Что именно сравнивается внутри класса

Модели на 7–8 миллиардов параметров сравнимы между собой честно: они занимают примерно одинаковый объём памяти при одинаковой квантизации, работают на одном железе и укладываются в один диапазон скорости. Разница между ними — это разница в обучающих данных, токенизаторе, лицензии и характере, а не в требованиях к машине.

Именно поэтому сравнение внутри класса имеет смысл, а сравнение «семимиллиардная против тридцатимиллиардной» почти всегда бессмысленно: вторая на вашем железе либо не запустится, либо запустится с выгрузкой в оперативную память и потеряет всё преимущество.

Бюджет памяти считается арифметикой: число параметров умножается на байт на параметр (FP16 — около 2,0; Q8 — около 1,0; Q5 — около 0,7; Q4 — около 0,55), к результату добавляется KV-кэш, растущий линейно с длиной контекста. Для 8B в Q4 это примерно 4,4 ГБ весов плюс кэш. Подробный расчёт с поправкой на архитектуру разобран в материале о том, сколько нужно VRAM для локальной модели, а цена перехода между уровнями квантизации — в разборе того, чем отличаются Q4, Q5 и Q8.

#Что этот класс делает хорошо

Работа с текстом, который вы дали. Переформулирование, сокращение, смена тона, вычитка, извлечение фактов из документа, ответ по содержимому письма. Здесь модель не изобретает, а преобразует, и размер почти не ограничивает качество.

Бытовой диалог и черновики. Письмо, объявление, описание, план дня. Результат требует правки, но экономит первый заход.

Шаблонный код. Регулярка, скрипт на двадцать строк, разбор JSON, типовой запрос к базе. Не архитектура, но заметная доля повседневных задач.

Скорость, при которой вы не бросаете инструмент. Это недооценённое свойство. Модель, отвечающая быстрее, чем вы теряете нить, используется каждый день; модель, требующая ожидания, тихо перестаёт открываться.

#Ключевые различия между семействами

Отличия внутри класса реальные, но не такие, как ожидают: они лежат в четырёх плоскостях.

Язык. Мультиязычность у семейств разная, и на русском разброс заметнее, чем на английском. Проверяется падежами после числительных, аббревиатурами и именами собственными — публичные англоязычные таблицы об этом не говорят ничего.

Многословие. Одни семейства отвечают сухо, другие разворачивают три абзаца там, где нужна строка. Это характер, а не качество, и он частично правится системным промптом.

Поведение с инструментами и форматом. Способность выдавать строгий JSON без вводных слов и вызывать функции по схеме различается сильнее, чем «общий интеллект».

Лицензия. Различие, которое вспоминают последним, а стоит первым, если результат уходит в коммерческий продукт.

#Таблица кандидатов по семействам

Смотреть в таблице нужно не «кто лучше», а к какому характеру вы готовы и какая лицензия вас устраивает. Столбец про сильную сторону отражает устойчивую репутацию семейства, а не измеренный результат: никакого балла за ним не стоит.

Семейство Репутация Лицензионное семейство На что обратить внимание
Qwen Мультиязычность, работа с форматом и инструментами Разрешительная у большинства размеров, отдельные версии выпадают Проверить лицензию именно вашей версии
Llama Широкая экосистема дообучений и инструментов Собственные условия использования производителя Ограничения на применение и требования к именованию производных
Mistral Сжатый стиль ответа, низкая многословность Часть весов разрешительная, часть под собственной лицензией Разброс условий между моделями одного бренда
Gemma Аккуратность на коротких инструкциях Собственные условия использования Список запрещённых применений читается до внедрения
Дообучения под русский Стилистика и канцелярит на русском Наследуется от базовой модели Часто проигрывают базе в рассуждениях; требует проверки

Вывод из таблицы простой: по «уму» кандидаты внутри класса различаются меньше, чем кажется по форумным спорам, а по лицензии и характеру — заметно. Берите двух из разных строк и прогоняйте через свои задачи; методика слепого сравнения описана в разборе того, как вообще подбирается модель под задачу и железо.

#Твёрдый потолок размера

Список задач, которые этот класс не вытягивает, и никакой промпт этого не меняет.

  • Длинные цепочки рассуждений. Задача, где нужно удержать пять условий и вывести из них шестое, разваливается на третьем-четвёртом шаге.
  • Математика сверх арифметики. Проценты и пропорции — да. Многошаговая задача с подстановкой — нестабильно.
  • Код за пределами шаблона. Правка в чужом проекте с учётом трёх зависимостей, рефакторинг модуля, поиск неочевидной ошибки.
  • Удержание фактов в длинном контексте. Формально контекст большой, фактически середина документа теряется. Заявленная длина — предел устойчивости, а не длина внимания.
  • Точность в узких доменах. Право, медицина, редкие стандарты: ответ выглядит уверенно и бывает выдуманным.

Если хотя бы два пункта из списка — это ваша ежедневная работа, класс выбран неверно, и дальше вопрос уже не в семействе.

#Где соседние размерные классы объективно лучше

12–14 миллиардов выигрывают там, где нужна связность. Разница между 8B и 14B видна не в «знаниях», а в способности удержать структуру длинного ответа, не потерять условие из первого абзаца и не сорваться в повтор на третьем экране. На разборе документа, на многошаговой инструкции, на коде с контекстом старший класс объективно сильнее, и это не вопрос настройки. Если у вас 12 ГБ видеопамяти — вы уже в этом классе и удерживать себя в 8B нет причин; что именно даёт переход, разобрано в сравнении моделей на 12–14 миллиардов и цены шага вверх, а конкретная популярная конфигурация — в разборе возможностей RTX 3060 на 12 ГБ для локальных моделей.

3–4 миллиарда выигрывают скоростью и доступностью. Это менее очевидная половина. Компактная модель запускается там, где 8B не запускается вовсе: интегрированная графика, ноутбук без дискретной карты, карта на 4 ГБ. Она отвечает заметно быстрее — при прочих равных время генерации растёт примерно пропорционально числу параметров. И на задачах преобразования текста, которые составляют большую часть бытового использования, разрыв в качестве с 8B меньше, чем разрыв в отзывчивости.

Практический вывод: если вы гоняете модель для переформулирования и коротких ответов и ловите себя на ожидании, вам нужен класс ниже, а не выше. Полезность — это качество, умноженное на вероятность, что вы дождётесь.

#Кому что подойдёт

  • 8 ГБ видеопамяти, бытовые тексты и переписка — 7–8B в Q4 или Q5. Класс попадает точно, выбор семейства решайте лицензией и характером.
  • 6 ГБ видеопамяти — тот же класс в Q4 с укороченным контекстом. Работает, но следите за KV-кэшем.
  • 4 ГБ и меньше или интегрированная графика — не мучайте 8B выгрузкой, берите 3–4B.
  • 12 ГБ и больше, а работа — разбор документов и код — переходите в 12–14B.
  • Коммерческое применение результата — начинайте с лицензии, а не с качества: она отсекает часть кандидатов до всякого тестирования.

#Частые вопросы

#Какая модель на 7B самая лучшая?

Такой модели не существует вне вашего контекста. Внутри класса кандидаты различаются языком, многословием, поведением с форматом и лицензией, а не абстрактным «умом». Возьмите двух представителей из разных семейств и прогоните их вслепую через десяток своих реальных задач — это единственный рейтинг, который что-то значит.

#Сколько видеопамяти нужно для модели на 8 миллиардов параметров?

Веса в четырёхбитной квантизации займут примерно 4,4 ГБ, плюс KV-кэш, растущий с длиной контекста. На карте с 6 ГБ модель работает с укороченным контекстом, на 8 ГБ — с запасом на длинный диалог. Точная цифра зависит от архитектуры и заданной длины контекста, поэтому считайте под свою конфигурацию.

#Чем 8B отличается от 7B?

Практически это один размерный класс с одинаковыми требованиями к железу. Заметная часть разницы в числе параметров приходится на выросший словарь токенизатора и таблицы эмбеддингов, а не на увеличение глубины сети. Ждать от 8B качественного скачка над 7B не стоит.

#Стоит ли брать русскоязычное дообучение вместо базовой модели?

Иногда да: дообучения бывают заметно приятнее в стилистике и в канцелярских формулировках. Но они нередко проигрывают базовой мультиязычной модели того же размера в рассуждениях и в работе с форматом. Проверяется только собственным набором задач.

#Хватит ли 7–8B для программирования?

Для шаблонных задач — регулярных выражений, коротких скриптов, разбора структур данных — обычно хватает. Для правок в чужом проекте с учётом зависимостей и для поиска неочевидных ошибок класс слаб, и это ограничение размера, а не настройки.

#Вывод

Класс 7–8B стал стандартом по инженерной причине, а не по научной: он влезает в самую массовую конфигурацию видеопамяти, и вокруг этого выросла вся экосистема. Он честно закрывает преобразование текста, бытовой диалог, черновики и шаблонный код — и упирается в потолок на длинных рассуждениях, сложном коде и удержании фактов в длинном документе.

Если у вас 8 ГБ видеопамяти и работа с текстами — оставайтесь здесь и не тратьте время на споры о семействах, разница между ними меньше разницы от нормально написанного системного промпта. Если у вас 12 ГБ и разбор документов — вы уже в старшем классе, оставаться в этом нет смысла. Если у вас интегрированная графика или вы ловите себя на ожидании ответа — спускайтесь к 3–4B, скорость даст вам больше, чем миллиард лишних параметров.

Хотите ИИ, который помнит вас?

Persona держит контекст между чатами и работает на вашем железе — если развернуть её у себя и подключить локальную модель.

Создать аккаунт