Эти два термина всегда встречаются вместе, поэтому и разбираются здесь вместе.
Веса — миллиарды чисел, подобранных при обучении. Это и есть модель: архитектура описывается несколькими строчками конфигурации, а всё, что модель знает и умеет, лежит в весах. Скачать модель означает скачать файл или набор файлов с весами.
Hugging Face — площадка, где эти файлы публикуют. Технически каждая модель там — git-репозиторий с поддержкой больших файлов, поэтому у неё есть история версий, ветки и хеши коммитов. Кроме моделей там хранят наборы данных и небольшие демонстрационные приложения.
#Что лежит в репозитории модели
| Файл | Зачем | Обязателен |
|---|---|---|
config.json |
архитектура: число слоёв, размерность, длина контекста | ✓ |
model-0000N-of-0000M.safetensors |
сами веса, разбитые на куски | ✓ |
model.safetensors.index.json |
карта, какой тензор в каком куске | ✓ при нескольких файлах |
tokenizer.json, tokenizer_config.json |
словарь и правила разбиения текста | ✓ |
generation_config.json |
параметры генерации по умолчанию | желательно |
special_tokens_map.json |
служебные токены ролей и границ | ✓ |
README.md |
карточка модели: описание, лицензия, ограничения | для чтения |
Правило, экономящее время и трафик: если вы запускаете модель локально через Ollama или llama.cpp, всё это скачивать не нужно. Вам нужен один файл .gguf из репозитория, где кто-то уже сделал квантизацию — устройство этого формата разобрано в справке про GGUF. Полный набор файлов нужен для дообучения и для конвертации.
#Где путают
Заблуждение первое: скачал репозиторий — значит, могу запустить. Не обязательно. Исходные веса лежат в 16-битном виде: модель на 13 миллиардов параметров — это около 28 ГБ, которые нужно целиком поместить в память. Именно поэтому существует отдельный слой квантованных сборок, а не потому, что кому-то нравится копировать файлы.
Заблуждение второе: репозиторий автора и репозиторий с квантизацией — одно и то же. Квантованные сборки обычно публикует не автор модели, а сторонний участник сообщества. Это нормальная практика, но и следствие у неё нормальное: качество конвертации, набор вариантов и своевременность обновлений зависят от того, кто её делал.
Заблуждение третье: раз файлы на площадке, они проверены. Площадка проверяет мало что. Формат весов защищает от исполнения кода при загрузке — об этом справка про safetensors — но не отвечает за содержимое. Дополнительный риск: репозитории с именами, отличающимися от популярных на один символ.
Заблуждение четвёртое: если модель выложена публично, её можно использовать в работе. Публичная доступность и разрешение на коммерческое использование — разные вещи; лицензии моделей часто содержат ограничения. Что именно в них смотреть — в разборе лицензий открытых моделей.
#Частые вопросы
#Чем базовая версия отличается от инструктивной?
Базовая (-base) прошла только предобучение и умеет продолжать текст, а не отвечать на вопросы. Инструктивная (-instruct, -chat, -it) дополнительно обучена диалогу. Для ассистента нужна вторая; базовая берётся как заготовка для дообучения.
#Что означают буквы в конце имени модели?
Обычно это размер (7b, 32b), назначение (instruct, chat, code), уровень квантизации (Q4_K_M) или происхождение (Distill). Единого стандарта нет, поэтому расшифровку стоит искать в карточке — что в ней должно быть, описано в справке про карточку модели.
#Нужен ли аккаунт, чтобы скачать веса?
Для части моделей — да: авторы закрывают доступ до принятия условий лицензии. Технически это токен доступа, который передаётся загрузчику. Для большинства квантованных сборок аккаунт не требуется.
#Как понять, что файлы скачались целиком?
Крупные модели бьются на куски, и обрыв на середине даёт непонятные ошибки при загрузке. Проверяйте по индексному файлу, что все части на месте, и сверяйте размеры с указанными на странице модели.
Остальные термины — в глоссарии терминов ИИ.