Запустить языковую модель у себя на компьютере звучит как задача для инженеров — на деле же это занимает несколько минут. Ollama — инструмент, который скачивает модель, разворачивает её локально и даёт общаться с ней через простую команду. Никакого облака, подписок и отправки ваших запросов на чужие серверы.
В этой статье разберём по шагам, что такое Ollama, как её поставить на любую из трёх основных систем, как выбрать ollama модели под своё железо и какими командами всё запускается. Точные значения зависят от вашей конфигурации, поэтому где нужно — описываю обобщённо, без выдуманных чисел, и отсылаю к официальной документации.
#Что такое Ollama и зачем она нужна
Ollama — это локальный «движок» для запуска открытых языковых моделей. Он берёт на себя то, что раньше требовало возни с зависимостями: скачивание весов модели, их хранение и запуск с учётом вашего процессора или видеокарты.
Работает это так: вы указываете имя модели, Ollama её загружает один раз, а дальше вы общаетесь с ней локально — в терминале или через приложение, которое подключается к Ollama по локальному API. Модель живёт на вашем диске, а запросы никуда не уходят.
Зачем это нужно? Причин несколько:
- Приватность. Запрос обрабатывается там, где запущена модель: если Ollama и приложение работают на одной машине, переписка не уходит в сеть. Как только вы подключаете облачный ключ вместо локальной модели, текст запроса уходит выбранному провайдеру — это разные режимы, и путать их не стоит.
- Работа офлайн. После загрузки модели интернет не нужен.
- Без подписок и лимитов. Вы не платите за токены и не упираетесь в дневные ограничения.
- Простота. Вместо ручной настройки окружения вы оперируете двумя-тремя командами, а вся сложность спрятана внутри.
Главный смысл всей затеи — запустить ИИ локально так, чтобы это было не сложнее запуска обычной программы.
#Установка: Windows, macOS и Linux
Ollama ставится как обычное приложение и официально поддерживает все три платформы. Порядок везде похожий, отличия — в способе установки.
Windows. Скачайте установщик с официального сайта проекта и запустите его как любую другую программу. После установки Ollama работает в фоне и доступна через терминал (PowerShell или командную строку).
macOS. Скачайте приложение с официального сайта, перенесите его в папку с программами и запустите. Дальше Ollama так же висит в фоне и принимает команды в терминале.
Linux. На Linux обычно используют установочный скрипт с официального сайта. Конкретную команду установки всегда сверяйте с актуальной документацией проекта — она может меняться от версии к версии, и я намеренно не привожу её здесь дословно, чтобы не давать устаревший вариант.
Общий принцип одинаков для всех систем: после установки Ollama запускается фоновым сервисом и готова принимать команды. Никакой дополнительной настройки для первого запуска не требуется.
#Проверка установки
Прежде чем качать модели, убедитесь, что Ollama установлена корректно. Самый простой способ — спросить версию:
ollama --version
Если команда отвечает номером версии, значит всё в порядке и фоновый сервис работает. Если терминал пишет, что команда не найдена, — перезапустите терминал (а иногда и компьютер), чтобы система подхватила новый путь, или переустановите приложение.
Заодно можно сразу посмотреть, какие модели уже скачаны — на свежей установке список будет пустым:
ollama list
#Выбор модели под VRAM и железо
Главный практический вопрос — какую модель потянет ваш компьютер. Решает в первую очередь объём памяти: для видеокарты это VRAM, при запуске на процессоре — обычная оперативная память.
Логика простая: чем больше у модели параметров, тем больше памяти и вычислений она требует, и тем медленнее отвечает на слабом железе. Ниже — ориентировочная таблица. Это именно ориентир, а не точные требования: реальные цифры зависят от квантизации модели, размера контекста и вашей системы, поэтому конкретную модель всегда сверяйте с её карточкой в каталоге Ollama.
| Класс модели | Ориентировочно памяти | Под какое железо |
|---|---|---|
| Компактная (несколько млрд параметров) | примерно от 4–8 ГБ | ноутбук без дискретной видеокарты, запуск на CPU |
| Средняя | примерно от 8–16 ГБ VRAM | средняя дискретная видеокарта |
| Крупная | примерно от 24 ГБ VRAM и выше | мощный десктоп, много VRAM |
Цифры в таблице — приблизительный ориентир, а не гарантия. Всегда проверяйте требования конкретной модели.
Как выбирать на практике:
- Скромное железо (ноутбук без мощной видеокарты). Берите компактные модели — они легче и отвечают быстрее, пусть и проще в рассуждениях.
- Средняя дискретная видеокарта. Подойдут модели среднего размера — разумный баланс качества и скорости.
- Много VRAM или мощный десктоп. Можно запускать крупные модели, ближе по качеству к облачным.
Хорошая стратегия — начать с модели поменьше, убедиться, что всё работает и отвечает с комфортной скоростью, и только потом пробовать что-то крупнее. Общее сравнение локального и облачного подходов мы разбирали в статье про локальную модель против облака.
#Базовые команды: pull, run и list
С Ollama вы работаете несколькими основными командами.
Первая — загрузка модели. Она скачивает веса один раз и сохраняет их локально:
ollama pull <model>
Вместо <model> подставляется имя нужной модели из каталога Ollama. После загрузки модель доступна офлайн.
Вторая команда — запуск и общение:
ollama run <model>
Она поднимает модель и открывает диалог прямо в терминале. Если модель ещё не скачана, Ollama обычно загрузит её автоматически перед запуском, так что для первого знакомства часто достаточно одной этой команды.
Посмотреть, какие модели у вас уже установлены, можно командой списка:
ollama list
Этого набора — pull, run, list — хватает, чтобы скачать модель, запустить её и видеть, что лежит на диске.
#Чат и выход
После ollama run <model> вы попадаете в интерактивный диалог: пишете сообщение, нажимаете Enter — модель отвечает. Это и есть локальный llm в чистом виде: всё происходит на вашей машине.
Чтобы выйти из диалога обратно в терминал, используется специальная команда внутри чата:
/bye
Также из интерактивного режима можно выйти стандартным сочетанием Ctrl + D. После выхода модель выгружается, а в следующий раз вы снова запускаете её той же командой ollama run.
#Размер контекста и настройки
Один параметр стоит понимать с самого начала — размер контекста. Это объём текста, который модель удерживает «в голове» за один разговор: и ваши сообщения, и её ответы. Чем он больше, тем длиннее диалог или документ модель учитывает целиком, но и памяти при этом расходуется больше.
Менять подобные настройки можно. Ollama позволяет задавать параметры запуска модели и создавать собственные конфигурации на базе готовой модели — описав их в отдельном файле настроек модели. Конкретные ключи и синтаксис лучше смотреть в актуальной документации проекта: она обновляется, и я не буду приводить флаги, в которых нельзя быть уверенным.
Общий принцип такой: для длинных текстов имеет смысл больший контекст, для быстрых коротких ответов хватает и стандартного. Помните, что увеличение контекста повышает расход памяти — на скромном железе это может заметно замедлить ответы.
#Подключение к приложениям и личному ИИ
Сам по себе запуск модели — это половина дела. Голая модель в терминале не помнит вас между сессиями и ничего не знает о ваших задачах. Ценность локального запуска раскрывается, когда поверх него появляется приложение с памятью и контекстом.
Технически это работает так: Ollama поднимает локальный API, к которому подключаются сторонние программы. Поэтому одну и ту же скачанную модель может использовать и терминал, и ваше приложение — без повторной загрузки весов.
Именно так устроена Persona: она подключается к локальной модели через Ollama, добавляет долговременную память и работает с вашими файлами — при этом данные остаются на вашем устройстве. Получается приватный ассистент, который знает именно вас и не зависит от облака. Подробнее о таком подходе — в статье про приватный ИИ локально.
А когда наберётся достаточно примеров ваших «хороших» ответов, следующим шагом может стать своя дообученная модель, которую тоже удобно крутить локально через ту же Ollama.
#Типичные проблемы и решения
Не хватает VRAM или памяти. Самая частая беда — модель не помещается в видеокарту или оперативную память. Симптомы: ошибка при запуске, вылет или резкое замедление. Решение — взять модель меньшего размера или более «лёгкую» (сильнее квантованную) версию той же модели. Иногда помогает закрыть другие тяжёлые программы, которые занимают память.
Модель отвечает медленно. Если ответы идут по слову в секунду, скорее всего, модель велика для вашего железа и часть вычислений уходит на процессор. Попробуйте модель поменьше, уменьшите размер контекста и не держите открытыми ресурсоёмкие приложения.
Команда не найдена после установки. Перезапустите терминал, а при необходимости — компьютер, чтобы система подхватила Ollama. Проверьте установку командой ollama --version.
Приложение не видит модель. Убедитесь, что фоновый сервис Ollama запущен и модель действительно скачана — проверьте список через ollama list.
#Частые вопросы
#Нужен ли интернет, чтобы пользоваться моделью?
Интернет нужен только один раз — чтобы скачать модель командой ollama pull (или при первом ollama run). Дальше модель работает полностью офлайн.
#Можно ли запустить Ollama без видеокарты?
Да. Ollama умеет работать на процессоре, используя обычную оперативную память. На CPU стоит брать компактные модели — крупные будут отвечать слишком медленно.
#Сколько места занимают ollama модели?
По-разному: от нескольких гигабайт у компактных моделей до десятков гигабайт у крупных. Точный размер указан в карточке модели в каталоге Ollama. Скачанные модели можно посмотреть командой ollama list.
#Как выбрать первую модель новичку?
Начните с компактной модели, чтобы убедиться, что всё запускается и отвечает с комфортной скоростью. Если железо тянет легко — переходите к более крупной. Так вы быстрее поймёте предел своего компьютера.
#Безопасно ли это для приватных данных?
Да, в этом и смысл локального запуска: запросы и ответы не уходят на внешние серверы. Приватность ещё выше, если использовать модель через приложение, которое тоже хранит данные локально.
#Вывод
Запустить ИИ-модель локально сегодня реально без глубоких технических знаний: установить Ollama под свою систему, проверить её командой ollama --version, выбрать модель под своё железо и запустить её парой команд ollama pull и ollama run. Это даёт приватность, работу офлайн и независимость от подписок.
А чтобы превратить локальный llm в полноценного личного ассистента с памятью и доступом к вашим файлам, поверх модели нужен инструмент вроде Persona. Тогда запустить ИИ локально — это не разовый эксперимент в терминале, а удобный приватный помощник на каждый день.