Дистилляция — обучение небольшой модели на выходах большой. Большая называется учителем, маленькая — учеником. Ученик видит не только «правильный ответ», но и то, как учитель распределял уверенность между вариантами, и это оказывается гораздо более богатым сигналом, чем обычная разметка.
Результат: небольшая модель, которая на задачах, покрытых обучением, ведёт себя ближе к учителю, чем ожидаешь от её размера. За пределами этих задач она остаётся собой.
#Что переносится, а что нет
| Что | Переносится | Почему |
|---|---|---|
| Стиль и формат ответа | хорошо | это то, что ученик видит напрямую |
| Способ решать типовые задачи | хорошо, если они были в наборе | натренирован на них |
| Фактические знания | плохо | ёмкость ученика меньше, факты не помещаются |
| Устойчивость на непокрытых задачах | плохо | подражание не обобщается вширь |
Из таблицы следует главное: дистиллят похож на учителя там, где его учили, и заметно слабее там, где не учили. По бенчмаркам, совпадающим по типу с обучающим набором, разрыв выглядит небольшим; на ваших задачах он может оказаться большим. Это не подлог со стороны авторов, а свойство метода — но читать такие таблицы нужно с поправкой на него.
#Как читать названия
Здесь и находится главная практическая ловушка кластера. Имя вида DeepSeek-R1-Distill-Qwen-7B расшифровывается так:
Qwen-7B— база. Это она лежит в основе, её архитектура и её ёмкость.DeepSeek-R1— учитель, чьи выходы использовались при обучении.Distill— способ: база дообучена подражать учителю.
То есть перед вами Qwen на 7 миллиардов параметров, а не R1. Разница огромная: оригинал — модель совсем другого класса и размера. Кто есть кто в этой линейке, разобрано в обзоре моделей DeepSeek.
Правило чтения: в такого рода именах ищите слово после Distill — это и есть настоящая модель, которую вы запускаете. Всё, что стоит до, описывает происхождение обучающих данных.
#Где путают
Заблуждение первое, ради которого написана эта справка: дистиллят — это оригинал, только меньше. Нет. Это другая модель другого разработчика, дообученная на ответах оригинала. Приписывать ей результаты флагмана некорректно, и авторы моделей обычно это оговаривают — а перепечатки новостей не оговаривают.
Заблуждение второе: дистилляция — то же самое, что квантизация. Совершенно разные операции. Квантизация сжимает числа в уже существующей модели, не меняя ни её устройства, ни числа параметров. Дистилляция обучает новую модель другого размера с нуля от базы. После квантизации перед вами та же модель; после дистилляции — другая.
Заблуждение третье: дистиллят всегда лучше своей базы. Лучше на том типе задач, под который дистиллировали, и не обязательно в остальном. Иногда дообучение под рассуждения ухудшает следование формату или работу на неанглийских языках. Проверяйте на своих задачах.
Заблуждение четвёртое: любая маленькая сильная модель — дистиллят. Не любая. Часть небольших моделей сильна за счёт качества обучающего корпуса, а не подражания; характерный пример этого подхода разобран в обзоре моделей Phi.
#Частые вопросы
#Чем дистиллят отличается от обычного дообучения?
Источником данных. При обычном дообучении примеры пишут люди или берут из готового набора, при дистилляции их порождает модель-учитель. Технически процедура похожа, юридически — нет: лицензии некоторых закрытых моделей прямо запрещают использовать их выходы для обучения конкурирующих моделей.
#Стоит ли брать дистиллят вместо обычной модели того же размера?
Стоит сравнить на своей задаче. Если задача — рассуждения и подсчёты, дистиллят рассуждающей модели часто выигрывает. Если задача — диалог на русском или извлечение фактов, преимущества может не быть вовсе.
#Почему дистиллят рассуждающей модели пишет так много?
Он подражает учителю, включая его манеру подробно разворачивать шаги. На простых вопросах это выглядит избыточно и стоит лишних токенов. Регулируется инструкцией в промпте, но не полностью.
#Сколько параметров нужно дистилляту, чтобы быть полезным?
Единого порога нет: зависит от задачи. Общие ориентиры по размеру и памяти собраны в справке про параметры модели, а выбор конкретной модели — в разборе того, какую модель выбрать.
Остальные термины — в глоссарии терминов ИИ.