Тег
#контекст
Статьи блога Persona с тегом «контекст» — 14 материалов.
Статей с тегом: 14
Что такое механизм внимания
Внимание — способ, которым каждое слово в тексте решает, на какие предыдущие слова опереться. Он же объясняет, почему середина длинного документа теряется.
ТехнологииЧто такое контекстное окно
Контекстное окно — сколько токенов модель может держать перед глазами за один запрос. В него входит всё сразу: инструкция, история, подмешанная память и сам ответ.
ТехнологииЧто такое KV-кэш
Почему занятая память растёт по мере разговора, хотя модель одна и та же. Это не утечка: движок хранит промежуточные векторы всех обработанных токенов.
ТехнологииЧто такое токен
Токен — не слово и не буква, а кусок текста, которым модель оперирует на самом деле. Разбираем, почему русская фраза стоит вдвое дороже английской того же смысла.
ТехнологииЧто такое трансформер
Архитектура, на которой построены все современные языковые модели. Разбираем её ровно настолько, насколько она объясняет практику: почему длинный текст дорожает быстрее, чем растёт.
ПриватностьЧто именно уходит в облако когда вы пишете ассистенту
Вы набрали сорок слов, а провайдеру уехало несколько тысяч. Разбираем состав одного запроса по частям — системный промпт, описания инструментов, подмешанная память, история чата — и что меняется в каждой конфигурации.
ТехнологииКак считать стоимость запросов к модели
У ассистента с памятью счёт формирует не ваш вопрос, а контекст, который приложение подмешивает к нему. Разбираем формулу по компонентам и считаем месяц.
ОсновыПерсональный ИИ для руководителя: контекст встреч без ручных заметок
У руководителя тридцать коротких контекстов в неделю. Для него ценнее полнота истории, чем качество отдельного ответа — разбираем, что помнить по каждому человеку и проекту.
ГайдыМодель отвечает плохо: когда виновата не модель
Прежде чем качать другую модель, проверьте шаблон чата, длину контекста, температуру и системный промпт. В большинстве случаев причина там, и смена модели ничего не даст.
ТехнологииПочему большой контекст съедает видеопамять
Заявленная длина контекста и внезапная нехватка памяти на длинном диалоге — одна и та же величина. Формула объёма KV-кэша и таблица расхода на четыре длины контекста.
Своя модельМодель не влезает в память: шесть вариантов по убыванию боли
Решения выстроены по цене для качества: сначала бесплатные — контекст и квантизация кэша, потом дешёвые, и только в конце смена модели. С оценкой потери на каждой ступени.
Своя модельМодели для кода: что реально помогает а что мешает
Под запросом «модель для кода» скрыты две несовместимые задачи: дополнение в редакторе и разговор об архитектуре. Разбираем требования каждой и цену их смешивания.
ТехнологииПаттерн ReAct: мысль действие наблюдение
Базовый цикл агента занимает десять строк кода, а его слабое место видно только на трассировке: наблюдения копятся в контексте, и длинные задачи упираются в окно модели.
ПамятьКак работает память у ИИ: контекст, RAG и карточки памяти
Глубоко и без магии разбираем, как устроена память ИИ: контекстное окно и токены, эмбеддинги простыми словами, RAG пошагово, векторный поиск по смыслу, карточки памяти и приватность локального хранения.
На этой странице совпадений нет
Живой фильтр ищет только по загруженным карточкам. Нажмите «Найти», чтобы искать по всему блогу.