Запустить модель локально через Ollama сегодня несложно — мы разбирали это в гайде про локальный запуск Ollama. Но голая модель в терминале не помнит вас между сессиями и ничего не знает о вашей работе. Ценность раскрывается, когда поверх неё появляется приложение с памятью. Эта статья — про то, как подключить Ollama к Persona и получить ассистента, который работает на вашем устройстве, без запросов в облако.
#Зачем именно связка Ollama + Persona
Persona умеет подключаться к разным провайдерам моделей. Если выбрать облачный — запросы пойдут по вашему API-ключу к внешнему сервису, и туда уйдёт не только вопрос, но и подтянутые в контекст фрагменты памяти. Если выбрать локальный через Ollama — не уходит ничего: и захваченная память, и ваши вопросы, и ответы модели остаются на машине, где всё это развёрнуто. Можно отключить интернет, и ассистент продолжит работать.
Оговорка, которая делает эту фразу точной: «на вашей машине» — это про конфигурацию, где Persona и Ollama развёрнуты на одном компьютере или в одной вашей сети. Если Persona работает на чужом сервере, «локальная модель» будет локальной для того сервера, а не для вас.
Такой режим нужен не всем и не всегда, но он незаменим, когда вы имеете дело с чувствительными данными — личными заметками, рабочими документами под соглашением о неразглашении, кодом. Тут принцип «нечего отправлять» важнее любого обещания о приватности.
#Что понадобится
- Установленная Ollama на той же машине, где развёрнута Persona (или в вашей сети с доступом по её адресу).
- Свободное место под веса моделей и достаточно видеопамяти или ОЗУ под выбранную модель. Что именно потянет ваше железо — считается по формуле из статьи сколько нужно VRAM для локальной LLM, а если памяти мало, начните с таблицы моделей для слабого железа.
- Интернет — только на разовый шаг скачивания моделей.
#Два места, где Persona использует модель
Важная деталь, которую часто упускают: для полноценной локальной работы модель нужна в двух ролях, и это разные модели.
- Чат-модель — генерирует ответы в диалоге. Это «голова» ассистента. Её вы выбираете под своё железо: компактная на ноутбуке, крупнее — на десктопе с большим объёмом видеопамяти.
- Embed-модель — превращает тексты в векторы для поиска по памяти по смыслу. Это лёгкая специализированная модель, например
nomic-embed-text. Она не разговаривает — она помогает находить релевантные куски памяти по смыслу, а не только по словам.
Если подключить только чат-модель, ассистент будет отвечать, но семантический поиск по памяти останется выключенным. Это нормально: по умолчанию Persona ищет по ключевым словам (быстро и без зависимостей), а векторный поиск — опциональное улучшение. Как не ошибиться со второй моделью, разобрано в гайде как подобрать модель для ассистента с памятью и в обзоре embed-моделей.
#Шаг 1. Подготовить модели в Ollama
Сначала скачайте обе модели через Ollama (интернет нужен только на этот разовый шаг):
ollama pull <чат-модель>
ollama pull nomic-embed-text
Чат-модель выбирайте под своё железо — критерии в разборе какую модель выбрать. Embed-модель лёгкая и встанет на любой машине.
Проверьте, что обе на месте:
ollama list
#Шаг 2. Указать Persona на локального провайдера
В настройках модели выберите провайдера Ollama и укажите имя чат-модели — ровно так, как она называется в ollama list. Persona подключается к локальному API Ollama, поэтому веса не загружаются повторно: и терминал, и приложение используют одну и ту же скачанную модель.
После этого диалог в чате пойдёт через локальную модель.
#Шаг 3. (Опционально) Включить семантический поиск по памяти
По умолчанию память ищется по ключевым словам — это работает из коробки и ничего не требует. Если хотите поиск по смыслу (находить релевантное, даже когда формулировка не совпадает дословно), включается векторный режим. Честно о требованиях: нужны дополнительный модуль для векторов в базе, embed-модель в Ollama и однократный проход индексации накопленной памяти. Без них Persona тихо откатывается на поиск по ключевым словам — ничего не ломается.
Ещё одно ограничение, о котором лучше знать заранее: векторный индекс доступен только владельцу инстанса. Эмбеддинги считаются по глобальной конфигурации, поэтому текст участников общей копии на железо владельца не отправляется — для них поиск остаётся по ключевым словам.
#Проверка результата
Три проверки, каждая занимает минуту:
- Модель видна.
ollama listпоказывает и чат-модель, и embed-модель под теми же именами, что вы указали в настройках. - Ассистент отвечает. Задайте любой вопрос в чате — ответ приходит без ошибки о недоступном провайдере.
- Офлайн действительно офлайн. Отключите сеть и задайте вопрос. Отвечает — значит запрос обработан на месте. Это единственная проверка, которая доказывает, что данные не уходят: код закрыт, и «поверить на слово» здесь неуместно.
Если включали векторный режим — проверьте его отдельно: задайте вопрос, переформулировав тему своими словами, без совпадающих с исходным текстом слов. Находит — индексация прошла.
#Что может пойти не так
- Ассистент не отвечает вовсе. Чаще всего Persona не видит API Ollama: проверьте, запущена ли она и доступна ли по тому адресу, который указан в настройках. Участник без своего провайдера ответов не получит в принципе — это ожидаемое поведение, а не сбой.
- Имя модели не совпадает. В настройках должно стоять ровно то, что выводит
ollama list, включая тег после двоеточия. - Модель не влезает в память. Симптом — крайне медленные ответы или падение при загрузке. Берите вариант меньше или квантование поагрессивнее.
- Ответы плохие, но модель загружается. Прежде чем качать другую модель, проверьте шаблон чата, длину контекста, температуру и системный промпт — порядок диагностики в статье когда виновата не модель.
- Семантический поиск не находит. Если не сделан проход индексации по уже накопленной памяти, векторный режим будет работать только для новых записей.
#Честно про скорость и качество
Не буду продавать сказку: локальная модель — это компромисс.
- Скорость зависит от железа. На мощном десктопе с достаточной видеопамятью ответы идут бодро; на ноутбуке без видеокарты компактная модель отвечает медленнее, а крупную лучше не запускать вовсе.
- Качество компактных локальных моделей в среднем уступает топовым облачным в сложных рассуждениях. Для повседневных задач — поиск по своей памяти, суммаризация, вопросы по дню — этого хватает. Для тяжёлой аналитики разрыв заметнее.
Подробный разбор этого компромисса — в статье про локальную модель против облака. Хорошая стратегия — гибрид: локальная модель для приватных и рутинных задач, облачная по ключу — когда нужна максимальная мощность и данные не чувствительны.
#Частые вопросы
#Можно ли держать Ollama на другом компьютере?
Да, Persona обращается к API по адресу, который вы указали, — это может быть другая машина в вашей сети. Учтите, что тогда «локально» означает «в пределах вашей сети», а не «на этом устройстве»: трафик между машинами стоит защищать так же, как любой внутренний.
#Нужна ли embed-модель, если я не включаю векторный поиск?
Нет. Без неё память ищется по ключевым словам, и это работоспособный режим по умолчанию. Embed-модель нужна ровно тогда, когда вам не хватает буквального совпадения слов и вы готовы один раз проиндексировать накопленное.
#Сколько места займут модели?
Зависит от выбранной чат-модели и уровня квантования: от пары гигабайт для компактных вариантов до десятков для крупных. Embed-модель лёгкая и заметного места не занимает. Точный расчёт под ваше железо — по формуле из статьи про VRAM.
#Уходит ли что-нибудь наружу при локальной модели?
При связке Persona и Ollama на одной машине текст запросов и фрагменты памяти наружу не уходят. Отдельно помните про размещённую версию persona.getdoday.ru: там стоит Яндекс.Метрика с вебвизором, которая пишет поведение в интерфейсе; при развёртывании у себя счётчика нет.
#Можно ли переключаться между локальной и облачной моделью?
Да, провайдер меняется в настройках. Помните, что вместе с провайдером меняется и граница приватности: то, что вчера оставалось на машине, сегодня уйдёт выбранному провайдеру вместе с подтянутыми фрагментами памяти.
#Что делать, если ноутбук не тянет вообще ничего?
Честный ответ — посмотреть, что реально работает на процессоре без видеокарты, и принять ограничения по скорости: разбор в статье LLM на ноутбуке без видеокарты. Если и там результат вас не устраивает, локальный режим не ваш сценарий — берите облачный ключ и держите в голове, куда уходит текст.
#Вывод
Ollama даёт мотор, Persona — память, контекст и интерфейс вокруг него. Вместе они превращают «локальный запуск LLM» из разового эксперимента в терминале в приватного помощника на каждый день. Если ваши данные чувствительны и железо позволяет — собирайте эту связку и проверьте её отключением сети. Если железо слабое, а задачи требуют сильных рассуждений — берите облачный ключ и не притворяйтесь, что работаете офлайн: ассистента с памятью можно строить и так, просто граница приватности будет другой.