Блог Persona
Личный ИИ без воды
Память и контекст, приватность, локальные модели, своя модель и продуктивность. Разборы, гайды и сравнения, в которых мы называем и то, где проигрываем.
Статей: 347 · страница 11 из 15
Embed-модели для поиска по памяти: чем они отличаются
Embed-модели различаются двумя вещами, которые решают всё: качеством на русском и размерностью вектора. Считаем размер индекса арифметикой и разбираем цену смены модели.
ТехнологииСколько электричества ест локальная LLM
Расчёт киловатт-часов по трём режимам использования, перевод в деньги по вашему тарифу и честное сравнение с ценой тех же запросов через API.
ГайдыFlash Attention и квантизация KV-кэша: как выиграть память
Две настройки, дающие самый большой выигрыш видеопамяти при почти нулевой потере качества. Точные флаги для llama.cpp и Ollama и расчёт экономии по четырём связкам.
ТехнологииFunction calling: как модель вызывает ваш код
Модель ничего не выполняет — она возвращает текст, а выполняет ваш код. Разбираем обмен целиком, показываем описание инструмента и объясняем, где на самом деле лежит ответственность.
Своя модельМодели Gemma: компактные и с оговорками в условиях
Gemma раздаётся открыто, но не по открытой лицензии: у неё собственные условия использования. Разбираем размеры, сильные и слабые стороны, а также что вы принимаете при загрузке.
ТехнологииФормат GGUF: что внутри файла модели и почему он победил
Разбор контейнера GGUF: заголовок, метаданные, тензоры и шаблон чата внутри одного файла — и почему именно шаблон решает половину проблем со странными ответами модели.
Своя модельМодели GLM и Kimi: китайские линейки с длинным контекстом
GLM и Kimi почти не обсуждают по-русски, хотя это одни из самых заметных открытых линеек с длинным контекстом. Разбираем состав, лицензии и как проверить окно самому.
Своя модельHermes 3 и Hermes 4: чем отличаются поколения
Сравнение поколений по прикладным свойствам для агентов: соблюдение формата вызова инструментов и следование системному промпту. Спорные детали помечены как требующие проверки.
ТехнологииHermes Agent: открытый агентный фреймворк — что он умеет
Разбор фреймворка по подтверждённым возможностям — единое ядро, сессии в SQLite, курируемая память, cron на естественном языке — и отдельный список того, что ему приписывают без подтверждения.
ПамятьПамять в Hermes Agent: курируемые файлы вместо базы
Ограниченная память в текстовом файле, который человек может прочитать целиком, — непопулярный, но сильный приём. Разбираем его сравнением с индексной памятью и находим потолок.
ТехнологииTelegram в Hermes Agent: allowlist и изоляция тем
Раздельный белый список для личных сообщений и групп плюс устойчивое сопоставление темы с сессией — конкретное инженерное решение, которое стоит разобрать как образец.
ТехнологииHermes в мире ИИ: три разные вещи под одним именем
Под именем Hermes скрываются семейство весов, агентный фреймворк и внутреннее название чужой архитектуры. Разбираем все три и даём способ за минуту понять, о чём идёт речь.
ГайдыJan: открытая альтернатива LM Studio для локальных моделей
Настройка Jan по шагам и честная таблица того, что есть в LM Studio и чего в Jan пока нет — чтобы выбор в пользу открытости был осознанным, а не разочаровывающим.
ТехнологииКак читать бенчмарки LLM и не быть обманутым
Таблица результатов выглядит как показания прибора, но погрешность у этого прибора большая и неизвестная. Разбираем четыре механизма, которыми бенчмарки вводят в заблуждение.
ГайдыКак измерить скорость локальной модели правильно
Большинство домашних замеров неверны из-за отсутствия прогрева и разной длины контекста. Протокол из шести шагов и команды, дающие воспроизводимые числа в llama.cpp и Ollama.
ГайдыКак написать свой MCP-сервер
Транспорт MCP пишется за час, а вот описания инструментов решают, будет модель их вызывать правильно или нет. Минимальный рабочий сервер плюс шесть правил формулировки описаний.
ГайдыКак обновлять локальные модели и не сломать то что работало
Модель — такая же зависимость с версией, как библиотека в коде. Регламент обновления из пяти шагов и чек-лист приёмочной проверки, который ловит регрессию до переключения.
ГайдыСвой набор тестов для модели: 10 задач вместо чужого рейтинга
Методика личной проверки моделей: фиксация условий прогона, слепая оценка ответов, форма записи результатов и способ убедиться, что сам набор задач рабочий.
ГайдыКак подобрать модель для ассистента с памятью
Ассистенту с памятью нужны две модели разных классов — разговорная и поисковая. Ошибка обычно во второй: её берут по остаточному принципу и получают поиск, который не находит.
Своя модельКак запустить LLM локально: полное руководство от железа до первого ответа
От «что у меня за железо» до работающей модели: команды проверки, формула памяти, таблица требований по пяти классам моделей и критерий выбора между четырьмя инструментами.
ГайдыКак запустить модель Hermes локально
Главная причина, по которой модель после скачивания отвечает не так, как ожидалось, — шаблон чата. Разбираем загрузку, шаблон и проверку вызова инструмента.
Своя модельКакую модель выбрать под свою задачу и своё железо
Выбор модели решается в два шага: сначала железо отсекает почти всё, потом ваши собственные задачи выбирают из остатка. Разбираем оба шага без единого рейтинга.
ГайдыМодель отвечает плохо: когда виновата не модель
Прежде чем качать другую модель, проверьте шаблон чата, длину контекста, температуру и системный промпт. В большинстве случаев причина там, и смена модели ничего не даст.
ТехнологииПочему большой контекст съедает видеопамять
Заявленная длина контекста и внезапная нехватка памяти на длинном диалоге — одна и та же величина. Формула объёма KV-кэша и таблица расхода на четыре длины контекста.
На этой странице совпадений нет
Живой фильтр ищет только по загруженным карточкам. Нажмите «Найти», чтобы искать по всему блогу.
Новые статьи — в RSS-ленте.