Термин ищут обычно с конкретным вопросом за спиной: в ноутбуке заявлен нейропроцессор на столько-то TOPS — значит ли это, что на нём пойдут локальные модели. Короткий ответ: почти наверняка нет, и разбор ниже объясняет почему.
NPU — отдельный блок в процессоре, спроектированный под нейросетевые вычисления с низким энергопотреблением. TOPS — trillions of operations per second, пиковая производительность в триллионах операций в секунду. Число берётся при определённой точности вычислений, обычно 8-битной целочисленной; при более агрессивных режимах вендоры иногда указывают вдвое большее значение. Сравнивать TOPS разных производителей напрямую поэтому нельзя — нужно смотреть, при какой точности они измерены.
#Что NPU делает и чего не делает
| Задача | Идёт на NPU | Почему |
|---|---|---|
| Размытие фона в видеозвонке | ✓ | маленькая модель, постоянная нагрузка, важна экономия батареи |
| Шумоподавление микрофона | ✓ | то же самое |
| Живые субтитры, распознавание речи | ✓ | компактная модель, поток в реальном времени |
| Индексация и понимание скриншотов в системных функциях | ✓ | системная задача, оптимизирована вендором |
| Запуск LLM через Ollama, llama.cpp, LM Studio | ✗ | эти движки считают на CPU и GPU |
| Дообучение модели | ✗ | NPU рассчитан только на инференс |
Причина в нижних строках не в мощности, а в экосистеме и в памяти. Популярные движки локального запуска написаны под процессор и видеокарту; поддержка нейропроцессоров разрозненна, зависит от вендора и требует конвертации модели в специальный формат. Плюс NPU работает с общей системной памятью — то есть с её пропускной способностью, а именно она ограничивает скорость генерации.
Отдельная строка про системные функции важна для сравнения: требование к нейропроцессору для набора функций Copilot+ в Windows — от 40 TOPS. Эта планка задана для системных сценариев, а не для запуска моделей пользователем; актуальность требований стоит проверить, они меняются. Как эти системные функции соотносятся с личным архивом, разобрано в сравнении Persona и Microsoft Recall.
#Где путают
Заблуждение первое: 50 TOPS означают, что пойдёт большая модель. Не означают. Ограничитель локального запуска — объём памяти (модель должна поместиться) и скорость её чтения, а не пиковая производительность в операциях. NPU не приносит ни своей быстрой памяти, ни объёма.
Заблуждение второе: TOPS можно сравнить с производительностью видеокарты. Некорректно: видеокарты меряют в других единицах и при другой точности, а для языковых моделей решающей характеристикой всё равно оказывается пропускная способность памяти. Критерии выбора железа под LLM — в разборе видеокарты для LLM.
Заблуждение третье: NPU бесполезен. Полезен, просто не для того. Он даёт часы работы от батареи на задачах, которые иначе грузили бы процессор постоянно: обработка звука, видео, распознавание речи. Для ноутбука это ощутимо.
Заблуждение четвёртое: раз есть NPU, локальный ИИ теперь у всех. Возможности локального запуска на ноутбуке определяются не наличием нейропроцессора, а объёмом памяти и наличием дискретной графики. Что реально доступно из альтернатив системным функциям записи экрана — в обзоре альтернатив Recall.
#Частые вопросы
#Можно ли заставить Ollama использовать NPU?
На момент написания — нет, штатной поддержки нейропроцессоров в популярных движках локального запуска нет. Отдельные вендорские наборы инструментов позволяют запускать сконвертированные модели на своих NPU, но это отдельный стек, а не переключатель в привычном интерфейсе. Требует проверки: направление развивается.
#Что важнее при покупке ноутбука под локальные модели — NPU или видеопамять?
Видеопамять и объём оперативной памяти. Нейропроцессор влияет на автономность и на системные функции, а не на то, запустится ли у вас модель на 14 миллиардов параметров.
#Почему производители так подчёркивают TOPS?
Это простое большое число, удобное для сравнения в рекламе. Оно измеряет пиковую пропускную способность вычислений в идеальных условиях и мало говорит о реальной скорости конкретной задачи.
#NPU как-то влияет на приватность?
Само по себе — нет. Место вычисления не определяет, уходит ли что-то в сеть; это решает программа. Обработка на устройстве возможна и без нейропроцессора, а его наличие не мешает приложению отправлять данные наружу. Что вообще происходит в момент вычисления модели — в справке про инференс.
Остальные термины — в глоссарии терминов ИИ.