Вопрос «какую модель выбрать» почти всегда задаётся неправильно. Человек открывает форум, видит спор о том, что сильнее — одна семимиллиардная модель или другая, — читает три противоположных мнения, скачивает ту, которую хвалили громче, и через неделю понимает, что она не влезает в память с нужной длиной контекста и отвечает по-русски хуже, чем ожидалось.
Проблема не в том, что советчики врут. Проблема в том, что «лучшая модель» — не свойство модели. Это свойство пары «модель + ваша задача», и ещё раньше — тройки «модель + ваша задача + ваше железо». Половина обсуждаемых в интернете вариантов физически не запустится на вашей машине, а из оставшейся половины половина не подходит к тому, что вы будете делать каждый день.
Поэтому выбор устроен не как поиск чемпиона, а как две последовательные фильтрации. Сначала железо вычёркивает большую часть списка — жёстко, арифметикой, без вкусовщины. Потом вы прогоняете уцелевших через десяток своих реальных задач и оставляете одного. Ни на одном из шагов чужой рейтинг не нужен.
Дата написания текста — 25 августа 2026 года. Ниже почти нет имён конкретных версий моделей: они меняются быстрее, чем обновляются статьи. Зато есть арифметика и процедура, которые не устаревают.
#Из чего вообще состоит выбор
Разложим на переменные, чтобы не смешивать их в одну кашу.
Размер (число параметров). Обозначается как 3B, 7B, 14B, 32B, 70B — миллиарды весов. Размер задаёт две вещи: сколько памяти нужно и насколько модель способна к сложным цепочкам рассуждений. Связь между размером и «умом» реальная, но не линейная и не единственная: модель на 4 миллиарда параметров, обученная на хорошо отобранных данных, обгоняет небрежно обученную семимиллиардную на части задач.
Квантизация. Формат хранения весов. Модель в исходной точности занимает 2 байта на параметр, в четырёхбитной квантизации — примерно 0,5–0,6 байта. Это тот рычаг, который превращает «не влезает» в «влезает». Механику и цену потери качества разбираем отдельно в материале про то, что такое квантизация и чем отличаются уровни Q4, Q5 и Q8.
Семейство. Qwen, Llama, Mistral, Gemma, Phi, DeepSeek, китайские GLM и Kimi, дообученные под русский открытые веса. Семейство задаёт характер: сильные и слабые языки, склонность к многословию, поведение с инструментами, лицензию.
Специализация. Рассуждающие модели, модели для кода, модели, которые видят изображения, и embed-модели для поиска — это не «версии одной и той же вещи», а разные инструменты. Embed-модель вообще не умеет разговаривать, и это нормально.
Лицензия. Не формальность. «Открытые веса» и «свободная лицензия» — разные вещи; часть популярных семейств распространяется по собственным условиям использования с ограничениями, которые для домашнего применения незаметны, а для коммерческого критичны.
Дальше по каждой переменной — что именно решать.
#Шаг первый: железо отсекает
Это самая приятная часть выбора, потому что она считается, а не обсуждается.
Первое приближение к требуемой памяти:
память под веса ≈ число параметров × байт на параметр
Байт на параметр по уровням квантизации:
| Формат | Байт на параметр | 7B | 14B | 32B | 70B |
|---|---|---|---|---|---|
| FP16 (исходный) | 2,0 | ~14 ГБ | ~28 ГБ | ~64 ГБ | ~140 ГБ |
| Q8 | ~1,0 | ~7 ГБ | ~14 ГБ | ~32 ГБ | ~70 ГБ |
| Q5 | ~0,7 | ~5 ГБ | ~10 ГБ | ~22 ГБ | ~49 ГБ |
| Q4 | ~0,55 | ~4 ГБ | ~8 ГБ | ~18 ГБ | ~39 ГБ |
Цифры в таблице — арифметика от числа параметров, а не замеры. Реальный файл модели отличается на несколько процентов в обе стороны: у разных семейств разная доля весов, которые квантизацией не трогают.
К весам добавляется KV-кэш — память под уже обработанный контекст. Он растёт линейно с длиной контекста и может добавить от сотен мегабайт до нескольких гигабайт, причём именно он чаще всего оказывается той соломинкой, которая ломает конфигурацию: модель загрузилась, вы дали ей длинный документ — и всё встало. Подробный расчёт с поправками на архитектуру — в статье о том, сколько нужно VRAM для локальной модели.
Практическое правило: веса плюс кэш должны занимать не больше 80–85% доступной видеопамяти. Остальное съедают система, браузер и сам рантайм.
#Дерево выбора по объёму памяти
Найдите свою строку и не читайте остальные — в этом весь смысл организации от железа.
- Интегрированная графика или видеокарта до 4 ГБ. Ваш диапазон — модели на 1–4 миллиарда параметров в Q4. Они годятся для переформулирования, коротких ответов, извлечения фактов из текста и простых команд. Не годятся для длинных рассуждений и кода сложнее шаблонного. Альтернатива — запуск на процессоре: скорость упадёт до неприятной, но работать будет.
- 6 ГБ VRAM. Модель на 7–8 миллиардов в Q4 с укороченным контекстом. Это уже полноценный собеседник для бытовых задач.
- 8 ГБ VRAM. Тот же класс 7–8B, но комфортнее: Q5 или длинный контекст на выбор. Массовый сценарий, под который оптимизируют почти всё: в этом размере есть варианты у каждого крупного семейства.
- 12 ГБ VRAM. Модели на 12–14 миллиардов в Q4 целиком на карте. Заметный шаг вверх по связности длинных ответов.
- 16 ГБ VRAM. 14B в Q5–Q6 или модель на 20–24 миллиарда в Q4 впритык.
- 24 ГБ VRAM. Модели на 27–32 миллиарда в Q4. Верх того, что имеет смысл на одной потребительской карте.
- 32 ГБ и больше, две карты или Apple с большой объединённой памятью. Открывается диапазон 70B в Q4. Оговорка: на объединённой памяти Apple работает то же правило — суммарно веса и кэш должны укладываться примерно в 70% от общего объёма, иначе система начнёт вытеснять.
Если ваша строка — одна из первых двух, отдельная таблица с готовыми короткими списками собрана в материале про модели для слабого железа по объёму памяти.
Отдельно: выгрузка части слоёв в оперативную память работает, но платите вы за неё скоростью, и платите непропорционально. Модель, у которой в видеопамяти лежит половина слоёв, часто оказывается медленнее и практически бесполезнее, чем модель поменьше, влезшая целиком. «Запустилась» и «пригодна к работе» — разные состояния.
#Шаг второй: задача выбирает из остатка
После первого шага у вас на руках диапазон размеров, а не модель. Теперь смотрим, что вы будете делать.
| Ваша основная задача | Что решает | На что не тратить время |
|---|---|---|
| Переписка, письма, переформулирование | Качество языка, а не размер | Рассуждающие модели: их цепочка мыслей здесь чистый перерасход |
| Русскоязычные тексты | Проверка на падежах и аббревиатурах | Английские бенчмарки |
| Код | Разделение на дополнение и обсуждение | Универсальные модели без кода в обучении |
| Разбор длинных документов | Реально удерживаемый контекст | Заявленная в карточке цифра контекста |
| Поиск по своим заметкам | Отдельная embed-модель | Размер чат-модели |
| Логика, математика, планирование | Размер и режим рассуждения | Компактные модели любого семейства |
Три пункта из таблицы стоят отдельного слова.
Русский язык. Публичные бенчмарки почти целиком англоцентричны, и результат на них не переносится на русский. Модель, уверенно занимающая высокие места в англоязычных таблицах, может путать падежи после числительных и разворачивать аббревиатуры наугад. Проверять приходится руками; какими именно проверками — в гайде о том, как выбрать модель для русского языка.
Код. «Модель для программирования» — это два разных запроса, которые постоянно смешивают. Автодополнение в редакторе требует низкой задержки и умения работать с обрывком файла; обсуждение архитектуры требует размера и длинного контекста. Оптимальные модели у этих задач разные, иногда обе стоят одновременно. Разбор — в сравнении моделей для кода.
Длинный контекст. Число в карточке модели — это предел, на котором она технически не падает, а не длина, на которой она удерживает факты. Разрыв между первым и вторым бывает кратным.
#Почему чужие рейтинги не решают вашу задачу
Соблазн понятен: есть таблица, в ней колонка с баллами, берём верхнюю строку. Не работает по четырём причинам, и все четыре систематические.
Тестовые наборы попадают в обучающие данные — модель видела задачи, на которых её потом проверяют. Условия прогона в таблицах не совпадают: квантизация, длина контекста, системный промпт и число попыток у разных строк разные. Средний балл по десяти областям скрывает провал в одной, которая как раз ваша. И наконец, голосовые арены измеряют приятность ответа: длинный, аккуратно отформатированный текст со списками выигрывает у короткого и точного.
Отсюда не следует, что бенчмарки бесполезны — следует, что их читают как показания прибора с известной погрешностью, а не как приговор. Что именно измеряет каждый популярный тест и какой вывод из него делать нельзя, разобрано в статье о том, как читать бенчмарки LLM и не быть обманутым.
#Шаблон личного набора из 10 задач
Это единственный рейтинг, который что-то значит для вас. Смысл в том, чтобы один раз собрать десять задач из своей реальной недели и прогонять через них каждого кандидата в одинаковых условиях.
Как собрать набор:
- Три задачи, которые вы делаете чаще всего. Не выдуманные, а скопированные из переписки или из рабочего файла.
- Две задачи на язык. Текст с числительными и падежами; текст с аббревиатурами и именами собственными.
- Одна задача на длинный вход. Ваш реальный документ на несколько тысяч слов и вопрос, ответ на который лежит в его середине.
- Одна задача на точность формата. Попросите ответ строго в виде таблицы или JSON и проверьте, соблюдён ли формат без лишних слов.
- Одна задача на отказ. Спросите то, чего модель знать не может. Правильный ответ — признание незнания, а не уверенная выдумка.
- Одна задача из вашей узкой области. Термины, которые за пределами вашей работы никто не употребляет.
- Одна задача-раздражитель. То, на чём вас уже подводила предыдущая модель.
Условия прогона, без которых сравнение бессмысленно: одинаковый системный промпт, одинаковая температура, одинаковая длина контекста, фиксированный seed там, где он доступен, и оценка вслепую — имена моделей закрываются до выставления баллов. Полная методика с формой записи результатов — в гайде о том, как тестировать модель на своих задачах.
Оценивайте по трёхбалльной шкале: «пригодно как есть», «пригодно после правки», «мусор». Средние оценки в таком наборе врут меньше, чем в любом публичном рейтинге, потому что распределение задач в нём — ваше собственное.
#Лицензия: вопрос, который вспоминают последним
Для домашнего использования лицензия почти не имеет значения. Как только результат уходит в продукт, за который платят, она становится первым пунктом.
Три вопроса, на которые нужно получить ответ до того, как модель попадёт в рабочий контур: разрешено ли коммерческое использование, разрешено ли дообучение и обязаны ли вы что-то раскрывать или указывать. Ответы различаются не только между семействами, но и между версиями внутри одного семейства, и меняются со временем — проверяйте текущую редакцию на странице конкретной модели, а не по статьям, включая эту.
Общая картина: часть семейств распространяется под классическими разрешительными лицензиями вроде Apache 2.0 и MIT, часть — под собственными условиями использования производителя со списком запрещённых применений и требованиями к именованию производных моделей. Второй случай — не «плохо», но это договор, который стоит прочитать.
#Мифы и заблуждения
«Больше параметров — всегда лучше». Неверно на границе железа. Тридцатимиллиардная модель, у которой половина слоёв выгружена в оперативную память, отвечает так медленно, что вы перестанете ей пользоваться, — а четырнадцатимиллиардная, влезшая целиком, останется в работе. Полезность — это качество, умноженное на вероятность, что вы дождётесь ответа.
«Квантизация ломает модель». На умеренных уровнях потеря качества существует, но она меньше, чем разница между соседними размерами. Четырёхбитная модель большего размера обычно полезнее восьмибитной меньшего при одинаковом расходе памяти. Точка перелома начинается ниже четырёх бит, где деградация становится заметной невооружённым глазом.
«Есть одна лучшая модель, просто её надо найти». Нет. Есть модель, лучшая для вашего набора задач на вашем железе в этом месяце. Через полгода выйдет следующее поколение, и проверять придётся заново — но набор задач у вас уже будет готов, и повторная проверка займёт час.
«Рассуждающая модель умнее обычной». Она тратит дополнительные токены на внутреннюю цепочку рассуждений. На логике и математике это окупается, на переписке и переформулировании — нет: вы платите временем и памятью за то, что вам не нужно.
«Локальная модель заменит облачную». Небольшая локальная модель объективно слабее топовой облачной в сложных рассуждениях — это факт, а не повод для спора. Выигрывает она другим: данные остаются на вашей машине, если вы её сами и запускаете, а расход не зависит от числа запросов.
«Русскоязычная модель обязательно лучше на русском». Дообученные под русский открытые веса действительно бывают сильнее в стилистике и канцелярите, но нередко проигрывают крупным мультиязычным моделям того же размера в рассуждениях. Проверяется тем же набором из десяти задач.
#Как начать
- Посчитайте свой бюджет памяти. Объём видеопамяти минус 15–20% — это то, во что должны уложиться веса и KV-кэш.
- Определите диапазон размеров по дереву выше. На выходе — не модель, а вилка вроде «7–8B в Q4» или «14B в Q4».
- Соберите набор из десяти задач. Час работы, который окупится на каждой следующей смене модели.
- Возьмите двух-трёх кандидатов из разных семейств. Одно семейство — это одна манера и одни и те же слабости.
- Прогоните вслепую в одинаковых условиях. Имена закрыты до выставления оценок.
- Оставьте победителя и запишите, чем он вас не устроил. Этот список — техническое задание на следующую проверку.
- Повторяйте раз в квартал или при выходе нового поколения. Не чаще: смена модели каждую неделю стоит дороже, чем разница между соседними вариантами.
Если модель нужна не сама по себе, а как двигатель для ассистента с памятью, помните, что моделей понадобится две — разговорная и отдельная embed-модель для поиска по вашим записям; в Persona обе подключаются к вашей Ollama или к ключу выбранного вами провайдера, и переписка уходит ровно туда, куда вы её направили.
#Частые вопросы
#Какая модель самая лучшая для локального запуска?
Такой модели не существует вне контекста. Ответ определяется объёмом вашей видеопамяти, языком, на котором вы работаете, и типом задач. Практический способ получить ответ — посчитать бюджет памяти, отобрать два-три кандидата подходящего размера и прогнать их через десяток своих реальных задач вслепую.
#Сколько видеопамяти нужно для модели на 7 миллиардов параметров?
В четырёхбитной квантизации веса займут около 4 ГБ, плюс KV-кэш под контекст. На карте с 6 ГБ такая модель работает с укороченным контекстом, на 8 ГБ — комфортно и с запасом на длинный диалог. Точный расчёт зависит от архитектуры и заданной длины контекста.
#Можно ли доверять таблицам бенчмарков при выборе модели?
Их стоит читать как ориентир с известной погрешностью. Тестовые наборы попадают в обучающие данные, условия прогона у разных строк не совпадают, а средний балл скрывает провал в конкретной области. Для русского языка англоязычные тесты не переносятся вовсе.
#Что важнее — размер модели или квантизация?
При фиксированном бюджете памяти обычно выигрывает большая модель в более агрессивной квантизации: разница между соседними размерами больше, чем потеря от квантизации до четырёх бит. Ниже четырёх бит соотношение меняется, и деградация становится заметной.
#Нужна ли отдельная модель для русского языка?
Не обязательно. Крупные мультиязычные семейства нередко работают на русском лучше, чем специализированные модели того же размера. Но проверять это нужно самому: публичные бенчмарки англоцентричны и о качестве русского не говорят ничего.
#Как часто нужно менять модель?
Разумный ритм — раз в квартал или при выходе нового поколения в вашем размерном классе. Более частая смена съедает больше времени на перенастройку, чем даёт прироста. Собранный один раз набор задач сокращает каждую следующую проверку до часа.
#Что делать, если модель отвечает плохо?
Сначала проверить не модель, а окружение: шаблон чата, температуру, системный промпт и не обрезан ли контекст. В большинстве случаев причина именно там, и смена модели проблему не решает.
#Вывод
Выбор модели — это не поиск чемпиона, а две фильтрации подряд. Железо считается арифметикой и отсекает большую часть вариантов за пять минут. Задачи проверяются вашим набором из десяти примеров и отсекают остальное за час.
Если у вас 8 ГБ видеопамяти и бытовые тексты — берите 7–8B в Q4 и не мучайтесь выбором семейства, разница между кандидатами меньше, чем разница от правильно настроенного промпта. Если у вас 24 ГБ и код — смотрите в сторону 27–32B и разделяйте дополнение и обсуждение на две модели. Если у вас интегрированная графика — берите компактную модель и не верьте, что выгрузка тридцатимиллиардной в оперативную память вам что-то даст.
И держите в голове главное ограничение жанра: любой обзор моделей, включая этот, устаревает. Не устаревает процедура — бюджет памяти, десять своих задач, слепое сравнение.