Что такое мультимодальность

Мультимодальная модель — та, что работает не только с текстом. Слово используют так широко, что оно почти перестало нести информацию: под ним понимают и распознавание речи, и генерацию картинок, и чтение скриншотов. Разница между этими случаями принципиальна, и задаётся она направлением.

#Направления, а не «умеет картинки»

Строки читаются независимо. Модель, которая великолепно описывает фотографию, обычно не умеет нарисовать ни одной — это разные архитектуры, обученные на разных задачах. Обратное тоже верно: генератор изображений не отвечает на вопросы по картинке.

Практический вывод: спрашивая «поддерживает ли модель изображения», уточняйте — на вход или на выход. Ответы будут разными, а половина недоразумений при выборе модели вырастает именно отсюда.

#Как модель зрения на самом деле «видит»

Изображение не подаётся в модель как есть. Отдельный кодировщик режет его на фрагменты фиксированного размера — обычно порядка нескольких сотен пикселей по стороне — и превращает каждый в набор векторов, которые встают в контекст наравне с текстовыми токенами. Крупные изображения разбиваются на плитки, и каждая плитка стоит своих токенов.

Отсюда два следствия, которые видно сразу:

1. Мелкий текст читается плохо. Скриншот экрана 4K, сжатый до плитки в несколько сотен пикселей, теряет буквы физически. Модель при этом не сообщит об этом, а достроит правдоподобный текст.
2. Картинка дорога по контексту. Одно изображение может стоить сотен и тысяч токенов в зависимости от разрешения и модели.

Из первого следует практическое правило работы с экраном: текст со скриншотов извлекайте распознаванием, а не моделью зрения. Распознавание на нечитаемом куске даст мусор, который видно; модель зрения даст связный вымысел, который не видно. Что умеет и чего не умеет распознавание — в справке про OCR. Что реально дают локальные модели зрения — в разборе vision-моделей локально.

#Где путают

Заблуждение первое: мультимодальная модель — универсальная. Обычно она сильна в одном направлении и посредственна в остальных. Модель с поддержкой изображений на входе почти всегда слабее чисто текстовой того же размера в текстовых задачах: часть ёмкости ушла на зрение.

Заблуждение второе: если модель «видит», ей можно доверять чтение документов. Проверяйте на своих документах: таблицы, рукописный текст, печати и штампы распознаются заметно хуже, чем ровный печатный текст, а ошибка выглядит как уверенное утверждение.

Заблуждение третье: голосовой ассистент — это мультимодальная модель. Чаще это связка из трёх отдельных моделей: распознавание речи, языковая модель, синтез речи. Разница ощущается по задержке и по тому, что промежуточный текст можно посмотреть; разбор двух крайних звеньев — в справке про ASR и TTS.

#Частые вопросы

#Какая локальная модель умеет работать с изображениями?

Такие есть в нескольких семействах, в том числе с относительно небольшим числом параметров — например, в линейке, разобранной в обзоре моделей Qwen. Требования к памяти у них выше, чем у текстовых собратьев того же размера: к весам добавляется кодировщик изображений.

#Сколько токенов стоит одна картинка?

Зависит от модели и разрешения, ориентир — от сотен до нескольких тысяч токенов на изображение. Практически это означает, что десяток скриншотов способен занять всё окно контекста.

#Можно ли подать в модель видео?

Как правило, видео разбирается на кадры, и в модель уходят кадры с некоторым шагом. Полноценной работы с движением у большинства доступных моделей нет — есть работа с последовательностью изображений.

#Что выбрать для чтения текста с экрана — модель зрения или распознавание?

Распознавание для текста, модель зрения для смысла происходящего. Практичнее всего связка: распознавание даёт точные строки, модель зрения объясняет, что на экране происходит.

Остальные термины — в глоссарии терминов ИИ.