VRAM — память, распаянная на плате видеокарты. Видеочип считает быстро только то, что лежит в ней; всё остальное надо сначала туда переложить. Отсюда правило локального запуска: модель должна поместиться в VRAM целиком, иначе часть слоёв уедет считаться на процессор.
Но объём — не главное отличие от обычной оперативной памяти. Главное — пропускная способность.
#Почему решает пропускная способность
При генерации ответа модель на каждый порождаемый токен читает все свои активные веса. Не часть, а все. Значит, потолок скорости считается арифметически:
максимум токенов в секунду ≈ пропускная способность памяти ÷ объём весов
Модель на 4 ГБ в памяти с пропускной способностью 500 ГБ/с даёт теоретический потолок около 125 токенов в секунду. Реальность будет ниже — накладные расходы, кэш, обработка промпта, — но порядок величины формула задаёт верно, и она объясняет, почему одна и та же модель на разном железе работает по-разному при одинаковом объёме памяти.
| Свойство | VRAM видеокарты | Оперативная память (DDR) |
|---|---|---|
| Типичный объём | 8–24 ГБ на массовых картах | 16–128 ГБ |
| Пропускная способность | сотни ГБ/с и выше | десятки ГБ/с |
| Расширяется | нет, только сменой карты | да, планками |
| Цена за гигабайт | высокая | низкая |
| Что даёт для LLM | скорость генерации | возможность запустить крупную модель медленно |
Разрыв в строке «пропускная способность» — обычно около порядка. Это и есть ответ на вопрос, почему 64 ГБ обычной памяти не заменяют 12 ГБ видеопамяти: крупная модель запустится, но каждый токен будет читаться из медленной памяти. Практические замеры — в разборе скорости LLM на CPU.
#Где путают
Заблуждение первое: «у меня 32 ГБ памяти, видеокарта не нужна». Модель действительно запустится и действительно будет отвечать. Вопрос в том, устроит ли вас скорость: разница ощущается не в процентах, а в разы. Что реально получается на ноутбуке без дискретной карты — в разборе запуска LLM на ноутбуке без видеокарты.
Заблуждение второе: «общая видеопамять» в диспетчере задач — это VRAM. На встроенной графике и в режиме динамического выделения система показывает часть обычной оперативной памяти как доступную видеопамять. Объём растёт, скорость — нет: это по-прежнему DDR со своей пропускной способностью.
Заблуждение третье: чем больше VRAM, тем быстрее. Объём определяет, что поместится; скорость определяет пропускная способность. Карта с большим объёмом медленной памяти проиграет карте с меньшим объёмом быстрой — на модели, которая помещается в обе. Как это соотносится при выборе — в разборе видеокарты для LLM.
Заблуждение четвёртое: у Apple всё так же. Не так же: там единая память с общей для процессора и графики пропускной способностью, заметно выше обычной DDR. Поэтому машины Apple с большим объёмом памяти запускают крупные модели на скоростях, недостижимых для процессорного запуска на ПК.
#Частые вопросы
#Сколько VRAM нужно под конкретную модель?
Ориентир — размер файла модели плюс 15–25% на контекст и буферы, причём запас растёт с длиной окна. Подробный расчёт с таблицей — в тексте про то, сколько нужно VRAM для LLM.
#Что происходит, если модель влезла не полностью?
Движок оставляет в видеопамяти столько слоёв, сколько поместилось, остальные считает процессор. Скорость определяется медленной частью: даже 20% слоёв на процессоре режут результат существенно. Механика распределения — в разборе оперативной памяти против VRAM при выгрузке.
#Можно ли сложить видеопамять двух карт?
Для запуска одной модели — да, движки умеют распределять слои между картами, и суммарный объём работает. Но обмен между картами становится узким местом, и линейного прироста скорости ждать не стоит.
#Влияет ли VRAM на скорость обработки длинного промпта?
Влияет, но иначе: обработка промпта упирается в вычислительную мощность чипа, а не в чтение весов. Поэтому карта может быстро генерировать и при этом долго «думать» перед первым словом — или наоборот.
Остальные термины — в глоссарии терминов ИИ.