#требования llm

Сколько нужно VRAM для локальной LLM: формула и таблица

Формула из двух слагаемых — вес модели и KV-кэш под контекст, — по которой вы посчитаете требования любой модели сами, вместо поиска её в чужой таблице.