Рубрика
Технологии
Все статьи блога Persona в категории «Технологии»: 105 материалов о личном ИИ, памяти, приватности и локальных моделях.
Статей в рубрике: 105 · страница 4 из 5
Две видеокарты под одну модель: когда это работает
Разделение по слоям и тензорный параллелизм — это разные вещи с разными последствиями. Для одного пользователя вторая карта даёт объём памяти, а не скорость.
ТехнологииСколько электричества ест локальная LLM
Расчёт киловатт-часов по трём режимам использования, перевод в деньги по вашему тарифу и честное сравнение с ценой тех же запросов через API.
ТехнологииFunction calling: как модель вызывает ваш код
Модель ничего не выполняет — она возвращает текст, а выполняет ваш код. Разбираем обмен целиком, показываем описание инструмента и объясняем, где на самом деле лежит ответственность.
ТехнологииФормат GGUF: что внутри файла модели и почему он победил
Разбор контейнера GGUF: заголовок, метаданные, тензоры и шаблон чата внутри одного файла — и почему именно шаблон решает половину проблем со странными ответами модели.
ТехнологииHermes Agent: открытый агентный фреймворк — что он умеет
Разбор фреймворка по подтверждённым возможностям — единое ядро, сессии в SQLite, курируемая память, cron на естественном языке — и отдельный список того, что ему приписывают без подтверждения.
ТехнологииTelegram в Hermes Agent: allowlist и изоляция тем
Раздельный белый список для личных сообщений и групп плюс устойчивое сопоставление темы с сессией — конкретное инженерное решение, которое стоит разобрать как образец.
ТехнологииHermes в мире ИИ: три разные вещи под одним именем
Под именем Hermes скрываются семейство весов, агентный фреймворк и внутреннее название чужой архитектуры. Разбираем все три и даём способ за минуту понять, о чём идёт речь.
ТехнологииКак читать бенчмарки LLM и не быть обманутым
Таблица результатов выглядит как показания прибора, но погрешность у этого прибора большая и неизвестная. Разбираем четыре механизма, которыми бенчмарки вводят в заблуждение.
ТехнологииПочему большой контекст съедает видеопамять
Заявленная длина контекста и внезапная нехватка памяти на длинном диалоге — одна и та же величина. Формула объёма KV-кэша и таблица расхода на четыре длины контекста.
ТехнологииЗаявленный контекст против полезного
Цифра контекста в карточке модели — это предел, на котором она не падает, а не длина, на которой удерживает факты. Разбираем разрыв и способ измерить его самому.
ТехнологииКвантизация LLM: чем отличаются Q4 Q5 Q8 и что терять не жалко
Квантизация — обмен качества модели на память. Разбираем уровни от Q8 до Q2, показываем, где проходит точка перелома, и почему Q4_K_M стал практическим стандартом.
ТехнологииЛицензии открытых моделей: что вам на самом деле разрешено
Скачать веса и иметь право на результат — разные вещи. Разбираем лицензии моделей по трём практическим вопросам: коммерция, дообучение, обязательства перед автором.
ТехнологииLLM на процессоре: от чего зависит скорость и что тюнить
На процессоре скорость генерации упирается в пропускную способность оперативной памяти, а не в число ядер. Формула потолка, команда проверки и что из этого следует при выборе железа.
ТехнологииНародные рейтинги моделей: что показывает слепое сравнение
На аренах со слепым голосованием длинный аккуратно оформленный ответ обычно выигрывает у короткого и верного. Разбираем механику Elo и три перекоса такого голосования.
ТехнологииПолезные MCP-серверы: что подключить в первую очередь
Порядок подключения MCP-серверов определяется риском, а не популярностью: сначала читающие, потом пишущие, выполняющие — в последнюю очередь или никогда.
ТехнологииMMLU GSM8K HumanEval и другие: что измеряет каждый тест
Расшифровка аббревиатур из карточки модели: что подаётся на вход каждому тесту, что он на самом деле измеряет и какой вывод из его результата делать нельзя.
ТехнологииМодели MoE: почему активных параметров меньше чем заявлено
В названии модели сто миллиардов параметров, а отвечает она быстрее четырнадцатимиллиардной. Разбираем архитектуру смеси экспертов и её следствия для памяти.
ТехнологииМультиагентные системы: когда несколько агентов лучше одного
Для личных задач мультиагентность чаще умножает стоимость и ошибки, чем помогает. Считаем накладные расходы и называем три сценария, где она действительно оправдана.
ТехнологииРасписание на естественном языке: «напомни каждый вторник»
Превращение фразы в расписание — отдельная задача со своими провалами: часовые пояса, «через неделю», «в конце месяца». Разбираем, что разбирается однозначно, а что нет.
ТехнологииВыгрузка слоёв в оперативную память: сколько можно и когда бросить
Кривая «доля слоёв на процессоре против скорости» нелинейна — но не в ту сторону, в какую обычно думают. Расчёт, процедура подбора -ngl и критерий, когда выгрузка себя не оправдывает.
ТехнологииОтладка агента: как читать его трассировку
Ошибка агента почти всегда видна на первом неверном наблюдении, а не в финальном ответе. Разбираем реальную трассировку с точкой сбоя и даём шесть вопросов к логу.
ТехнологииАгентная архитектура Persona: одно ядро на все поверхности
Разбор нашей архитектуры с честной отметкой статуса каждой части: что работает в коде сегодня, что сделано наполовину и что остаётся проектным документом.
ТехнологииКак агент разбивает задачу на шаги
План, составленный один раз в начале, ломается о первое же наблюдение. Разбираем статическое и динамическое планирование на одном примере и считаем, чем платится каждое.
ТехнологииПочему нельзя просто дать агенту доступ к терминалу
Инструмент выполнения команд в Persona существует и помечен как опасный. Разбираем четыре сценария ущерба и список ограничений, без которых его включать нельзя.
На этой странице совпадений нет
Живой фильтр ищет только по загруженным карточкам. Нажмите «Найти», чтобы искать по всему блогу.