Тег
#kv-кэш
Статьи блога Persona с тегом «kv-кэш» — 5 материалов.
Статей с тегом: 5
Что такое KV-кэш
Почему занятая память растёт по мере разговора, хотя модель одна и та же. Это не утечка: движок хранит промежуточные векторы всех обработанных токенов.
ГайдыFlash Attention и квантизация KV-кэша: как выиграть память
Две настройки, дающие самый большой выигрыш видеопамяти при почти нулевой потере качества. Точные флаги для llama.cpp и Ollama и расчёт экономии по четырём связкам.
ТехнологииПочему большой контекст съедает видеопамять
Заявленная длина контекста и внезапная нехватка памяти на длинном диалоге — одна и та же величина. Формула объёма KV-кэша и таблица расхода на четыре длины контекста.
ТехнологииЗаявленный контекст против полезного
Цифра контекста в карточке модели — это предел, на котором она не падает, а не длина, на которой удерживает факты. Разбираем разрыв и способ измерить его самому.
ТехнологииСколько нужно VRAM для локальной LLM: формула и таблица
Формула из двух слагаемых — вес модели и KV-кэш под контекст, — по которой вы посчитаете требования любой модели сами, вместо поиска её в чужой таблице.
На этой странице совпадений нет
Живой фильтр ищет только по загруженным карточкам. Нажмите «Найти», чтобы искать по всему блогу.