Блог Persona
Личный ИИ без воды
Память и контекст, приватность, локальные модели, своя модель и продуктивность. Разборы, гайды и сравнения, в которых мы называем и то, где проигрываем.
Статей: 347 · страница 2 из 15
Что такое инференс
Инференс — использование уже обученной модели. Разбираем, чем он отличается от обучения по ресурсам, и почему ваши диалоги локальную модель ничему не учат.
ТехнологииЧто такое джейлбрейк промпта
Разбор с позиции защищающегося: что именно ломается при обходе ограничений, почему это работает и почему для локальной модели вопрос стоит совсем иначе.
ТехнологииЧто такое KNN и приближённый поиск соседей
Точный поиск ближайших векторов перебирает все. Приближённый — быстрее, но молча теряет часть результатов. Считаем, при каком объёме личного архива он вообще нужен.
ТехнологииЧто такое контекстное окно
Контекстное окно — сколько токенов модель может держать перед глазами за один запрос. В него входит всё сразу: инструкция, история, подмешанная память и сам ответ.
ТехнологииЧто такое KV-кэш
Почему занятая память растёт по мере разговора, хотя модель одна и та же. Это не утечка: движок хранит промежуточные векторы всех обработанных токенов.
ТехнологииЧто такое задержка и время до первого токена
«Медленно» — это два разных симптома: долгая пауза перед ответом и медленный вывод. Причины у них разные, лечатся они по-разному, и мерить их надо отдельно.
ТехнологииЧто такое карточка модели
Описание модели — документ с ожидаемым набором полей, а не свободный текст. Даём чек-лист того, что там должно быть, и признаки, по которым карточку читать не стоит.
ТехнологииЧто такое мультимодальность
Понимать картинку и рисовать картинку — разные способности разных моделей. Разбираем направления вход-выход и объясняем, почему модель зрения не читает мелкий текст.
ТехнологииЧто такое RLHF
Откуда у модели берётся вежливость, готовность помогать и отказы отвечать. Это третий этап обучения поверх основного, и знания он почти не добавляет.
ТехнологииЧто такое OCR
Распознавание текста с изображения. Разбираем, что определяет качество на русском, и главную практическую беду — латинские буквы, подмешанные в кириллические слова.
ТехнологииЧто такое ONNX
Универсальный формат обмена нейросетями и рантайм к нему. Разбираем, почему в нём живут распознавание речи и эмбеддинги, а языковые модели чаще запускают в GGUF.
ТехнологииЧто такое параметры модели
7B, 14B, 70B — это миллиарды чисел внутри модели. Переводим их в гигабайты на диске и в памяти при разной квантизации, чтобы понять, что вообще запустится.
ТехнологииЧто такое перплексия
Перплексия — мера того, насколько модель удивлена текстом. Полезна для сравнения квантизаций одной модели и бесполезна для сравнения разных моделей между собой.
ТехнологииЧто такое промпт-инъекция
Инструкция приходит не от вас, а из прочитанной страницы, письма или файла — и агент её выполняет. Самая практически опасная атака на ассистента с инструментами.
ТехнологииЧто такое промпт-инжиниринг
Не профессия и не тайное знание, а пять приёмов, дающих основной эффект. Показываем их на примерах «до и после» и называем то, что не работает.
ПамятьЧто такое RAG простыми словами: шпаргалка, которую готовят перед ответом
RAG — это не «умная нейросеть», а конвейер поиска перед генерацией. Разбираем четыре шага, три места, где конвейер ломается, и как понять, что сломалось именно у вас.
ТехнологииЧто такое safetensors
Формат весов, придуманный ради одной конкретной угрозы: старый формат мог выполнить произвольный код в момент загрузки модели. Разбираем, от чего он защищает, а от чего нет.
ТехнологииЧто такое seed и почему ответы не повторяются
Seed фиксирует случайность выбора токена. Локально этого хватает для повтора ответа, у облачного провайдера — почти никогда, и причина не в seed.
ТехнологииЧто такое системный промпт
Системный промпт — постоянная инструкция, которая уходит в модель раньше вашего вопроса. Разбираем структуру сообщений и пять причин, по которым модель её игнорирует.
ТехнологииЧто такое температура модели
Температура — не регулятор креативности, а ширина выбора следующего токена. На нуле модель не становится правдивее: она просто перестаёт колебаться.
ТехнологииЧто такое токен
Токен — не слово и не буква, а кусок текста, которым модель оперирует на самом деле. Разбираем, почему русская фраза стоит вдвое дороже английской того же смысла.
ТехнологииЧто такое токенизация
Токенизация — правило, по которому текст режется на куски перед подачей в модель. У каждой модели оно своё, поэтому один и тот же запрос у разных провайдеров стоит по-разному.
ТехнологииЧто такое top-p и top-k
Два способа обрезать список кандидатов перед выбором токена: фиксированной длиной и накопленной вероятностью. Разбираем, что происходит, если зажать оба сразу.
ТехнологииЧто такое TOPS и NPU
Нейропроцессор в новом ноутбуке почти наверняка не будет запускать вашу локальную языковую модель. Разбираем, что он делает на самом деле и что означает цифра в TOPS.
На этой странице совпадений нет
Живой фильтр ищет только по загруженным карточкам. Нажмите «Найти», чтобы искать по всему блогу.
Новые статьи — в RSS-ленте.