Блог Persona
Личный ИИ без воды
Память и контекст, приватность, локальные модели, своя модель и продуктивность. Разборы, гайды и сравнения, в которых мы называем и то, где проигрываем.
Статей: 347 · страница 12 из 15
Заявленный контекст против полезного
Цифра контекста в карточке модели — это предел, на котором она не падает, а не длина, на которой удерживает факты. Разбираем разрыв и способ измерить его самому.
ТехнологииКвантизация LLM: чем отличаются Q4 Q5 Q8 и что терять не жалко
Квантизация — обмен качества модели на память. Разбираем уровни от Q8 до Q2, показываем, где проходит точка перелома, и почему Q4_K_M стал практическим стандартом.
ТехнологииЛицензии открытых моделей: что вам на самом деле разрешено
Скачать веса и иметь право на результат — разные вещи. Разбираем лицензии моделей по трём практическим вопросам: коммерция, дообучение, обязательства перед автором.
Гайдыllama.cpp: сборка запуск и параметры без магии
Сборка под CUDA, Metal и CPU, запуск модели и разбор флагов, которые реально меняют скорость в разы: -ngl, -c, -t, -fa — с методикой замера эффекта каждого.
Гайдыllama.cpp server: свой OpenAI-совместимый эндпоинт
Одна команда поднимает локальный эндпоинт, к которому подключается любой клиент, ожидающий API OpenAI. Пример запроса и таблица полей, которые действительно поддерживаются.
Своя модельМодели Llama: что осталось актуальным и чем ограничена лицензия
Llama раздают свободно, но не под свободной лицензией. Разбираем поколения, реальные сильные стороны и те пункты условий, которые бьют по коммерческому применению.
ГайдыLLM на видеокартах AMD: ROCm Vulkan и реальность
Три разных бэкенда для Radeon — ROCm, Vulkan и молчаливый откат на процессор, — таблица поддержки по поколениям карт и порядок диагностики, объясняющий, почему у соседа заработало.
ГайдыLLM на Apple Silicon: unified memory и её пределы
Mac выигрывает по объёму доступной модели памяти и проигрывает по скорости обработки промпта. Таблица пропускной способности по чипам и разбор асимметрии, о которой обычно молчат.
ТехнологииLLM на процессоре: от чего зависит скорость и что тюнить
На процессоре скорость генерации упирается в пропускную способность оперативной памяти, а не в число ядер. Формула потолка, команда проверки и что из этого следует при выборе железа.
ГайдыLLM на Intel Arc и встроенной графике Intel
Что делать владельцу Arc или свежего встроенного графического ядра, когда все гайды написаны под NVIDIA: порядок установки бэкенда и расчёт ожидаемой скорости.
Своя модельLLM на ноутбуке без видеокарты: что реально работает
Расчёт потолка скорости по пропускной способности памяти для четырёх классов моделей, порог, ниже которого пользоваться невозможно, и что делать с интегрированной графикой.
Своя модельМодель не влезает в память: шесть вариантов по убыванию боли
Решения выстроены по цене для качества: сначала бесплатные — контекст и квантизация кэша, потом дешёвые, и только в конце смена модели. С оценкой потери на каждой ступени.
ГайдыLM Studio: локальные модели для тех кто не хочет терминал
Пошаговая настройка LM Studio, разбор вкладки параметров загрузки модели и честная заметка о том, что это закрытое приложение со своими условиями использования.
ТехнологииНародные рейтинги моделей: что показывает слепое сравнение
На аренах со слепым голосованием длинный аккуратно оформленный ответ обычно выигрывает у короткого и верного. Разбираем механику Elo и три перекоса такого голосования.
ТехнологииПолезные MCP-серверы: что подключить в первую очередь
Порядок подключения MCP-серверов определяется риском, а не популярностью: сначала читающие, потом пишущие, выполняющие — в последнюю очередь или никогда.
Своя модельЛокальная модель тормозит: порядок диагностики
Не список советов, а дерево из семи узлов: каждая ветка отсекает половину гипотез одним замером, и к пятому шагу причина обычно уже названа.
Своя модельМодели Mistral и Mixtral: европейская линейка на практике
Mistral редко возглавляет рейтинги, и берут его не за это. Разбираем линейку, разницу между Apache-версиями и исследовательскими, сильные и слабые задачи.
ТехнологииMMLU GSM8K HumanEval и другие: что измеряет каждый тест
Расшифровка аббревиатур из карточки модели: что подаётся на вход каждому тесту, что он на самом деле измеряет и какой вывод из его результата делать нельзя.
ГайдыКак выбрать модель для русского языка
Четыре проверочных промпта на падежи, аббревиатуры, канцелярит и транслитерацию отсеивают модели за полчаса — быстрее и точнее любого англоязычного рейтинга.
Своя модельМодели для слабого железа: таблица по объёму памяти
Таблица построена от железа, а не от моделей: найдите строку со своим объёмом памяти и получите короткий список классов моделей и честное описание того, чего ждать.
Своя модельМодели на 12-14 миллиардов: шаг вверх и его цена
Переход с восьмимиллиардной модели на четырнадцатимиллиардную даёт связность длинных ответов и стоит скорости. Разбираем, где прирост заметен, а где его нет вовсе.
Своя модельМодели от 30 миллиардов дома: что нужно и что получите
Верхняя граница домашнего запуска: какие конфигурации памяти держат 30B и 70B и почему большая модель с выгрузкой в ОЗУ часто проигрывает меньшей по полезности.
Своя модельМодели на 7-8 миллиардов: рабочая лошадь домашнего ИИ
Класс 7–8B стал стандартом не из-за науки, а потому что влезает в массовые 8 ГБ видеопамяти. Разбираем кандидатов по семействам и границы возможностей размера.
Своя модельМодели для кода: что реально помогает а что мешает
Под запросом «модель для кода» скрыты две несовместимые задачи: дополнение в редакторе и разговор об архитектуре. Разбираем требования каждой и цену их смешивания.
На этой странице совпадений нет
Живой фильтр ищет только по загруженным карточкам. Нажмите «Найти», чтобы искать по всему блогу.
Новые статьи — в RSS-ленте.