#архитектура llm

Модели MoE: почему активных параметров меньше чем заявлено

В названии модели сто миллиардов параметров, а отвечает она быстрее четырнадцатимиллиардной. Разбираем архитектуру смеси экспертов и её следствия для памяти.