Локальную модель обычно называют бесплатной. Веса действительно бесплатны, лимитов нет, счетов от провайдера нет. Электричество при этом никуда не делось, и видеокарта под нагрузкой потребляет столько же, сколько небольшой обогреватель.
Вопрос не в том, много это или мало в абсолютных цифрах — вопрос в том, как это соотносится с альтернативой. Ниже расчёт, который вы повторите со своими числами.
#Короткий ответ
При эпизодическом использовании счёт вырастет незаметно — единицы киловатт-часов в месяц. При ежедневной работе по несколько часов речь идёт о десятках. При круглосуточном сервере — о сотне и больше.
Точные деньги посчитать за вас нельзя: тариф на электроэнергию различается по регионам, по типу дома и по времени суток, и на момент написания его нужно смотреть в собственной квитанции — любая цифра в статье будет неверной для большинства читателей. Ниже — киловатт-часы, которые вы умножите на свой тариф.
#Как это устроено
Потребление складывается из трёх слагаемых, и второе обычно забывают.
Видеокарта под нагрузкой. Заявленный теплопакет — хороший ориентир: карта среднего сегмента это 165–200 ватт, старшая — 350–450, флагман — больше. Во время генерации карта работает близко к этому значению, но не постоянно: между запросами она простаивает.
Видеокарта в простое с загруженной моделью. Это то самое забываемое слагаемое. Модель, оставшаяся в памяти, держит карту в состоянии повышенного энергопотребления — обычно десятки ватт вместо единиц. Если сервис настроен не выгружать модель, эти ватты капают круглосуточно.
Остальная система. Процессор, материнская плата, диски, потери блока питания. Для настольной машины это 60–100 ватт в простое сверх видеокарты.
Формула:
кВт·ч за месяц = (мощность в ваттах × часов в день × 30) / 1000
#Три режима
Расчёты ниже сделаны для конкретных допущений, названных явно. Подставьте свои — арифметика та же.
#Режим 1: эпизодический
Карта на 170 Вт, система 80 Вт. Полчаса генерации в день, остальное время машина выключена или модель выгружена.
0,5 ч × 250 Вт = 0,125 кВт·ч в день
0,125 × 30 = ~3,8 кВт·ч в месяц
Это меньше, чем тратит холодильник за пару дней. На счёте не заметно.
#Режим 2: ежедневная работа
Та же карта. Три часа активной генерации, восемь часов машина включена с моделью в памяти (карта в простое ~30 Вт, система 70 Вт).
3 ч × 250 Вт = 0,75 кВт·ч
8 ч × 100 Вт = 0,80 кВт·ч
Итого 1,55 кВт·ч в день → ~46 кВт·ч в месяц
Обратите внимание: простой с загруженной моделью стоит примерно столько же, сколько сама работа. Это самый практичный вывод статьи — настройка времени выгрузки модели даёт экономию, сопоставимую с сокращением использования вдвое.
#Режим 3: домашний сервер
Старшая карта на 350 Вт, система 90 Вт, машина работает круглосуточно. Четыре часа под нагрузкой, двадцать в простое с загруженной моделью (карта ~40 Вт).
4 ч × 440 Вт = 1,76 кВт·ч
20 ч × 130 Вт = 2,60 кВт·ч
Итого 4,36 кВт·ч в день → ~131 кВт·ч в месяц
Здесь это уже заметная строка в квитанции — сопоставимая с потреблением всей остальной квартиры у экономного домохозяйства. Что ещё меняется при переходе к постоянно работающей машине, разобрано в материале о домашнем сервере для ИИ.
#Сравнение с API
Честное сравнение требует привести оба варианта к одной единице — к объёму сгенерированного текста.
Возьмём режим 2: три часа генерации в день при скорости 25 токенов в секунду.
3 ч × 3600 с × 25 ток/с = 270 000 токенов в день
270 000 × 30 = ~8,1 млн токенов в месяц
Стоимость этого объёма через API считается так:
(8,1 млн / 1 млн) × цена за миллион токенов = стоимость в месяц
Цены провайдеров здесь не приводятся сознательно: они меняются несколько раз в год и различаются между моделями более чем на два порядка. Подставьте актуальную цену — методика подсчёта разобрана в материале о том, как считать стоимость токенов.
Что покажет это сравнение, зависит от того, с чем сравнивать, и здесь важно быть точным. Против самых дешёвых компактных облачных моделей локальный запуск по электричеству обычно проигрывает или идёт вровень. Против топовых моделей — выигрывает с большим запасом при заметных объёмах.
И отдельная оговорка, без которой сравнение нечестно: локальная модель класса 7–14B объективно слабее топовой облачной в сложных задачах. Сравнивать их по цене за токен — всё равно что сравнивать по цене за килограмм два разных продукта. Локальный запуск выбирают за то, что запросы остаются на вашей машине и не зависят от чужого сервиса, а не за то, что он дешевле.
#Что из этого следует на практике
Настройте выгрузку модели. Простой с загруженными весами — половина расхода в типичном режиме. Если модель нужна раз в час, держать её в памяти круглосуточно бессмысленно.
Ограничьте мощность карты. Снижение лимита потребления на 20–30% обычно стоит единиц процентов скорости в задаче, ограниченной пропускной способностью памяти, а не вычислениями. Это редкий случай, когда экономия почти бесплатна:
nvidia-smi -pl 250
Проверьте эффект замером — на разных картах он различается.
Считайте амортизацию отдельно и не забывайте о ней. Электричество в большинстве домашних сценариев дешевле, чем стоимость самой видеокарты, разнесённая на срок службы. Полный подсчёт владения — в материале о том, сколько стоит личный ИИ.
Учитывайте потребление при выборе карты. Разница между 170 и 450 ваттами — это не только счёт, но и охлаждение, шум и требования к блоку питания. Как это ложится на выбор — в разборе того, какую видеокарту взять под локальные LLM.
#Где интуиция подводит
«Видеокарта потребляет заявленный теплопакет постоянно». Только под нагрузкой. В диалоге карта работает секундами, а простаивает минутами; средняя мощность за час намного ниже пиковой.
«В простое карта не потребляет ничего». С загруженной моделью потребляет десятки ватт. Разница между «модель выгружена» и «модель в памяти» в месячном масштабе заметна.
«Локальная модель бесплатна». Бесплатны веса. Плата за использование существует, просто она приходит в другой квитанции и не привязана к числу запросов.
«Серверная карта с вторичного рынка выгоднее». По цене покупки — возможно. По совокупным расходам стоит пересчитать: старые карты потребляют больше на единицу производительности, и разница накапливается. Полный подсчёт стоимости владения — в материале о б/у видеокартах под LLM.
#Частые вопросы
#Сколько ватт потребляет видеокарта при работе нейросети?
Близко к заявленному теплопакету во время генерации и десятки ватт в простое с загруженной моделью. Точное значение своей карты можно посмотреть в реальном времени командой nvidia-smi --query-gpu=power.draw --format=csv -l 5.
#Насколько вырастет счёт за электричество?
При эпизодическом использовании — на единицы киловатт-часов в месяц, незаметно. При ежедневной работе по несколько часов — на несколько десятков. При круглосуточном сервере со старшей картой — на сотню и больше. Умножьте на свой тариф из квитанции.
#Дешевле ли локальная модель, чем API?
Зависит от того, с какой моделью сравнивать. Против топовых облачных моделей при больших объёмах — обычно дешевле. Против самых дешёвых компактных — часто нет. И это сравнение неполно: локальная модель на домашнем железе слабее топовой облачной, а выбирают её ради контроля над данными.
#Стоит ли ограничивать мощность видеокарты?
Для генерации текста — обычно да. Задача упирается в пропускную способность памяти, а не в вычисления, поэтому снижение лимита мощности стоит меньше скорости, чем можно ожидать. Проверьте на своей карте замером.
#Что потребляет больше — обучение или запуск?
Дообучение нагружает карту равномерно и подолгу, поэтому расходует существенно больше за единицу времени. Запуск для диалога — это короткие всплески с длинными паузами.
#Выключать компьютер между сессиями или оставлять?
Если модель нужна несколько раз в день — разумнее оставлять машину, но настроить выгрузку модели из памяти после простоя. Так вы платите за систему, а не за карту в повышенном режиме.