Рубрика
Технологии
Все статьи блога Persona в категории «Технологии»: 105 материалов о личном ИИ, памяти, приватности и локальных моделях.
Статей в рубрике: 105 · страница 2 из 5
Что такое промпт-инъекция
Инструкция приходит не от вас, а из прочитанной страницы, письма или файла — и агент её выполняет. Самая практически опасная атака на ассистента с инструментами.
ТехнологииЧто такое промпт-инжиниринг
Не профессия и не тайное знание, а пять приёмов, дающих основной эффект. Показываем их на примерах «до и после» и называем то, что не работает.
ТехнологииЧто такое safetensors
Формат весов, придуманный ради одной конкретной угрозы: старый формат мог выполнить произвольный код в момент загрузки модели. Разбираем, от чего он защищает, а от чего нет.
ТехнологииЧто такое seed и почему ответы не повторяются
Seed фиксирует случайность выбора токена. Локально этого хватает для повтора ответа, у облачного провайдера — почти никогда, и причина не в seed.
ТехнологииЧто такое системный промпт
Системный промпт — постоянная инструкция, которая уходит в модель раньше вашего вопроса. Разбираем структуру сообщений и пять причин, по которым модель её игнорирует.
ТехнологииЧто такое температура модели
Температура — не регулятор креативности, а ширина выбора следующего токена. На нуле модель не становится правдивее: она просто перестаёт колебаться.
ТехнологииЧто такое токен
Токен — не слово и не буква, а кусок текста, которым модель оперирует на самом деле. Разбираем, почему русская фраза стоит вдвое дороже английской того же смысла.
ТехнологииЧто такое токенизация
Токенизация — правило, по которому текст режется на куски перед подачей в модель. У каждой модели оно своё, поэтому один и тот же запрос у разных провайдеров стоит по-разному.
ТехнологииЧто такое top-p и top-k
Два способа обрезать список кандидатов перед выбором токена: фиксированной длиной и накопленной вероятностью. Разбираем, что происходит, если зажать оба сразу.
ТехнологииЧто такое TOPS и NPU
Нейропроцессор в новом ноутбуке почти наверняка не будет запускать вашу локальную языковую модель. Разбираем, что он делает на самом деле и что означает цифра в TOPS.
ТехнологииЧто такое трансформер
Архитектура, на которой построены все современные языковые модели. Разбираем её ровно настолько, насколько она объясняет практику: почему длинный текст дорожает быстрее, чем растёт.
ТехнологииЧто такое VAD
Детектор речевой активности отделяет речь от тишины до того, как что-то будет сохранено. Считаем на арифметике, сколько места это экономит за рабочий день.
ТехнологииЧто такое веса модели и что такое Hugging Face
Веса — это и есть модель, всё остальное вокруг них служебное. Разбираем состав типового репозитория по файлам: что обязательно скачивать, а что можно пропустить.
ТехнологииЧто такое VRAM и чем отличается от оперативной памяти
Разница между видеопамятью и обычной не в объёме, а в скорости чтения. Именно она определяет, сколько токенов в секунду вы увидите.
ТехнологииКак резать текст для поиска: стратегии чанкинга и как подобрать размер
Размер чанка — компромисс между полнотой и точностью. Пять стратегий с их слабостями и процедура подбора размера на своём корпусе вместо универсального совета «512 токенов».
ТехнологииDocker для ИИ-приложений: что упрощает а что усложняет
Контейнер решает задачу воспроизводимого окружения и создаёт две новые ровно там, где болит: доступ к экрану и доступ к видеокарте. Таблица «что упрощает / что ломает» и правило выбора между контейнером и нативным запуском.
ТехнологииДомашний сервер под ИИ: за и против
Считаем домашний сервер честно — вместе с электричеством, шумом, каналом связи и вашим временем на обслуживание. Формула трёхлетней стоимости, список неочевидных издержек и случаи, когда он всё-таки выигрывает.
ТехнологииЭмбеддинги простыми словами: как текст превращается в числа
Эмбеддинг — координаты фразы на карте смыслов. Показываем на трёх фразах, как считается близость, и разбираем главную ловушку: близко не значит релевантно.
ТехнологииАрхитектура веб-приложения на FastAPI: что масштабируется а что нет
Разбор болезней разросшегося приложения на примере проекта с более чем тысячей зарегистрированных маршрутов: фоновые задачи внутри веб-процесса, затенение маршрутов порядком регистрации и обработчик, в котором лежит вся логика.
ТехнологииFTS5 в SQLite: полнотекстовый поиск без лишних сервисов
Схема виртуальной таблицы, синхронизация триггерами, ранжирование bm25 — и отдельно главная боль: русская морфология, которой в FTS5 нет, и рабочие обходные пути.
ТехнологииГибридный поиск: почему ключевые слова всё ещё нужны рядом с векторами
Есть классы запросов, где векторный поиск проигрывает точному совпадению вчистую — имена, коды, артикулы, отрицания. Разбираем, какие и почему гибрид не роскошь.
ТехнологииГлоссарий терминов ИИ: 39 понятий человеческим языком
Термины сгруппированы не по алфавиту, а по ситуации, в которой вы на них наткнулись: при выборе модели, при запуске, при настройке ответов, при работе с памятью и голосом.
ТехнологииИнтерфейс без сборки: HTMX и Alpine вместо фронтенд-стека
Отказ от сборки — это размен: вы экономите на обслуживании инструментов и платите в другом месте. Разбираем оба конца размена по шести критериям и называем границу, за которой подход перестаёт работать.
ТехнологииКак поднять свой ИИ-сервис: от ноутбука до домена
Шесть этапов от локального запуска до публичного домена. На каждом — что именно ломается первым, сколько это стоит в деньгах и во времени и какой новый класс отказов вы покупаете вместе с удобством.
На этой странице совпадений нет
Живой фильтр ищет только по загруженным карточкам. Нажмите «Найти», чтобы искать по всему блогу.