Рубрика
Технологии
Все статьи блога Persona в категории «Технологии»: 105 материалов о личном ИИ, памяти, приватности и локальных моделях.
Статей в рубрике: 105 · страница 1 из 5
Что такое ASR и TTS
Два противоположных процесса, которые постоянно путают: речь в текст и текст в речь. Разбираем требования к ресурсам у каждого и что определяет качество.
ТехнологииЧто такое механизм внимания
Внимание — способ, которым каждое слово в тексте решает, на какие предыдущие слова опереться. Он же объясняет, почему середина длинного документа теряется.
ТехнологииЧто такое BM25
Формула ранжирования, на которой держится почти весь текстовый поиск. Два множителя объясняют всё её поведение, включая то, почему частые слова не помогают искать.
ТехнологииЧто такое цепочка рассуждений
Пошаговое рассуждение поднимает точность на многошаговых задачах. Но показанные шаги — это тоже сгенерированный текст, и они не обязаны быть настоящей причиной ответа.
ТехнологииЧто такое косинусная близость
Мера схожести двух векторов через угол между ними. Главное ограничение для памяти: высокая близость означает «та же тема», а вовсе не «ответ на ваш вопрос».
ТехнологииЧто такое диаризация
Задача «кто говорил и когда», отдельная от «что было сказано». Для ассистента с памятью её ошибка опаснее ошибки распознавания — и вот почему.
ТехнологииЧто такое дистилляция модели
Маленькую модель учат подражать большой. Разбираем, что при этом переносится, что нет, и как читать названия вроде Distill-Qwen-7B, чтобы не принять дистиллят за оригинал.
ТехнологииЧто такое few-shot и zero-shot
Примеры в запросе не обучают модель. Она пользуется ими ровно до конца ответа, а потом забывает — и это принципиально отличает приём от дообучения.
ТехнологииЧто такое FTS5
Полнотекстовый поиск, встроенный в SQLite. Работает из коробки и почти бесплатен — с одной оговоркой, из-за которой «договор» не находит «договоры».
ТехнологииЧто такое галлюцинация ИИ
Галлюцинация — не сбой модели, а её нормальный режим работы. Модель порождает правдоподобное продолжение, а не проверяет факты, и различить эти два процесса она не умеет.
ТехнологииЧто такое ограничители поведения модели
Ограничители обычно живут не в модели, а вокруг неё. Разбираем четыре уровня — и объясняем, почему настоящей защитой является только последний.
ТехнологииЧто такое инференс
Инференс — использование уже обученной модели. Разбираем, чем он отличается от обучения по ресурсам, и почему ваши диалоги локальную модель ничему не учат.
ТехнологииЧто такое джейлбрейк промпта
Разбор с позиции защищающегося: что именно ломается при обходе ограничений, почему это работает и почему для локальной модели вопрос стоит совсем иначе.
ТехнологииЧто такое KNN и приближённый поиск соседей
Точный поиск ближайших векторов перебирает все. Приближённый — быстрее, но молча теряет часть результатов. Считаем, при каком объёме личного архива он вообще нужен.
ТехнологииЧто такое контекстное окно
Контекстное окно — сколько токенов модель может держать перед глазами за один запрос. В него входит всё сразу: инструкция, история, подмешанная память и сам ответ.
ТехнологииЧто такое KV-кэш
Почему занятая память растёт по мере разговора, хотя модель одна и та же. Это не утечка: движок хранит промежуточные векторы всех обработанных токенов.
ТехнологииЧто такое задержка и время до первого токена
«Медленно» — это два разных симптома: долгая пауза перед ответом и медленный вывод. Причины у них разные, лечатся они по-разному, и мерить их надо отдельно.
ТехнологииЧто такое карточка модели
Описание модели — документ с ожидаемым набором полей, а не свободный текст. Даём чек-лист того, что там должно быть, и признаки, по которым карточку читать не стоит.
ТехнологииЧто такое мультимодальность
Понимать картинку и рисовать картинку — разные способности разных моделей. Разбираем направления вход-выход и объясняем, почему модель зрения не читает мелкий текст.
ТехнологииЧто такое RLHF
Откуда у модели берётся вежливость, готовность помогать и отказы отвечать. Это третий этап обучения поверх основного, и знания он почти не добавляет.
ТехнологииЧто такое OCR
Распознавание текста с изображения. Разбираем, что определяет качество на русском, и главную практическую беду — латинские буквы, подмешанные в кириллические слова.
ТехнологииЧто такое ONNX
Универсальный формат обмена нейросетями и рантайм к нему. Разбираем, почему в нём живут распознавание речи и эмбеддинги, а языковые модели чаще запускают в GGUF.
ТехнологииЧто такое параметры модели
7B, 14B, 70B — это миллиарды чисел внутри модели. Переводим их в гигабайты на диске и в памяти при разной квантизации, чтобы понять, что вообще запустится.
ТехнологииЧто такое перплексия
Перплексия — мера того, насколько модель удивлена текстом. Полезна для сравнения квантизаций одной модели и бесполезна для сравнения разных моделей между собой.
На этой странице совпадений нет
Живой фильтр ищет только по загруженным карточкам. Нажмите «Найти», чтобы искать по всему блогу.