Буква B в названии qwen2.5:7b — это billion, миллиард. Параметры модели — числа, подобранные при обучении: веса матриц, из которых состоят слои. Семь миллиардов параметров означает семь миллиардов чисел, каждое из которых занимает место на диске и в памяти.
Практический смысл этого числа один: параметры напрямую переводятся в гигабайты, а гигабайты решают, запустится ли модель у вас.
#Перевод в гигабайты
Формула элементарна: размер ≈ число параметров × байт на параметр. Байт на параметр задаётся квантизацией — уровнем сжатия весов.
| Модель | FP16 (2 байта) | Q8 (~1 байт) | Q4_K_M (~0,6 байта) |
|---|---|---|---|
| 3B | ~6 ГБ | ~3,2 ГБ | ~2 ГБ |
| 7–8B | ~15 ГБ | ~8 ГБ | ~4,5 ГБ |
| 13–14B | ~28 ГБ | ~15 ГБ | ~8,5 ГБ |
| 32B | ~64 ГБ | ~35 ГБ | ~20 ГБ |
| 70B | ~140 ГБ | ~75 ГБ | ~42 ГБ |
Числа приблизительные: конкретный файл зависит от варианта квантизации, а разные варианты Q4 отличаются между собой на десятки процентов. Что означают эти обозначения и где проходит граница разумного сжатия — в разборе квантизации LLM.
К размеру файла нужно прибавить память под контекст и служебные буферы. Ориентир: веса плюс 15–25% сверху, и больше при длинном контексте. Полный расчёт под конкретную видеокарту — в тексте про то, сколько нужно VRAM для LLM.
#Где путают
Заблуждение первое: больше параметров — лучше модель. Число параметров говорит о ёмкости, а не о качестве. Модель на 8 миллиардов параметров, обученная на свежем корпусе с хорошим выравниванием, обходит модель на 13 миллиардов двухлетней давности на большинстве практических задач. Сравнивать по букве B имеет смысл только внутри одного семейства и одного поколения.
Заблуждение второе: у MoE-модели работают все параметры. У моделей со смесью экспертов общее число параметров и число активных на токен — разные величины: в памяти лежит вся модель, а считает на каждом шаге лишь часть. Отсюда странная на вид комбинация «занимает как крупная, отвечает со скоростью небольшой»; подробности — в обзоре MoE-моделей.
Заблуждение третье: параметры и контекст — одно и то же. Нет. Параметры — это то, что модель знает и умеет, они фиксированы после обучения. Контекст — сколько текста она может держать перед глазами за раз. Модель на 3B может иметь окно в 128 тысяч токенов, а модель на 70B — в 8 тысяч.
Заблуждение четвёртое: «7B» — точная величина. Это округление названия. В 7b может быть и 6,7, и 7,6 миллиарда, а в 8x7B — вовсе не 56 миллиардов. Считайте по фактическому размеру файла, а не по имени.
#Частые вопросы
#Какая модель поместится в 8 ГБ видеопамяти?
Ориентировочно 7–8B в Q4 с коротким контекстом либо 3B в Q8. Оставьте запас: контекст и системные буферы тоже занимают память, и при переполнении часть слоёв уедет на процессор, а скорость упадёт в разы.
#Что произойдёт, если модель не влезает в память?
Движок выгрузит часть слоёв в оперативную память и будет считать их на процессоре. Модель заработает, но генерация замедлится существенно, потому что пропускная способность обычной памяти на порядок ниже. Если выгружена половина слоёв, скорость определяется медленной половиной, а не быстрой.
#Влияет ли число параметров на скорость ответа?
Прямо влияет. На каждый порождаемый токен модель читает все свои активные веса из памяти, поэтому вдвое большая модель при прочих равных генерирует примерно вдвое медленнее. Что именно происходит в этот момент — в справке про инференс.
#Сколько параметров нужно для личного ассистента с памятью?
Для диалога, поиска по своим записям и коротких сводок обычно хватает 7–8B в Q4. Для сложного кода и длинных рассуждений разрыв с крупными моделями заметен, и настройками он не закрывается: это ограничение ёмкости, а не конфигурации.
Остальные термины — в глоссарии терминов ИИ.