Тег
#num_ctx
Статьи блога Persona с тегом «num_ctx» — 4 материалов.
Статей с тегом: 4
Что такое контекстное окно
Контекстное окно — сколько токенов модель может держать перед глазами за один запрос. В него входит всё сразу: инструкция, история, подмешанная память и сам ответ.
ТехнологииПочему большой контекст съедает видеопамять
Заявленная длина контекста и внезапная нехватка памяти на длинном диалоге — одна и та же величина. Формула объёма KV-кэша и таблица расхода на четыре длины контекста.
ТехнологииЗаявленный контекст против полезного
Цифра контекста в карточке модели — это предел, на котором она не падает, а не длина, на которой удерживает факты. Разбираем разрыв и способ измерить его самому.
ГайдыПараметры Ollama которые действительно влияют на результат
Три параметра объясняют почти все жалобы «модель забывает» и «модель тормозит». Таблица со значениями по умолчанию, эффектом и четырьмя разными местами, где они задаются.
На этой странице совпадений нет
Живой фильтр ищет только по загруженным карточкам. Нажмите «Найти», чтобы искать по всему блогу.