Ситуация конкретная. Есть скриншот интерфейса: боковое меню, таблица, всплывающая подсказка, часть текста светло-серым по белому. Вы прогоняете его через Tesseract и получаете мусор — обрывки слов, склеенные колонки, потерянные подписи. Поднимаете качество изображения, играете с бинаризацией, задаёте язык явно — становится лучше, но пользоваться этим по-прежнему нельзя.
Следующая мысль очевидна: взять модель, которая умеет смотреть на картинку, и попросить её просто прочитать, что там написано. Мысль правильная, но её нужно уточнить до того, как вы построите на ней рабочий процесс. Vision-модель не является более умным OCR. Это другой инструмент с другим профилем ошибок, и в одном месте её ошибки опаснее, чем ошибки Tesseract.
Дата написания — 25 августа 2026 года. Конкретные версии моделей меняются быстро, поэтому ниже речь о семействах и классах, а не о номерах.
#Что делает vision-модель
Классический OCR решает узкую задачу: найти на изображении области с текстом и распознать символы. Он ничего не понимает — сопоставляет формы с символами и складывает их в строки. Механика и ограничения — в справке о том, что такое OCR и как работает распознавание текста.
Vision-модель устроена иначе: изображение превращается в набор векторов, которые языковая модель воспринимает наравне с токенами текста, и дальше она отвечает на вопрос об изображении так же, как отвечала бы о тексте. Общая рамка — в справке про мультимодальность.
Отсюда главное различие, которое определяет всё остальное: OCR извлекает символы, vision-модель порождает правдоподобный ответ. Второе полезнее, когда нужен смысл, и опаснее, когда нужна дословность.
#Что можно запустить дома
Смотрите в таблице третью колонку — она определяет, влезет ли модель в вашу карту. Размерные классы указаны как порядок величины: конкретные размеры внутри семейств меняются от поколения к поколению и требуют проверки на карточке.
| Семейство | Размерный класс | Веса в Q4 | Чем интересно |
|---|---|---|---|
| Qwen-VL | около 3B и около 7B | ~2 и ~4 ГБ | сильная сторона — текст на изображении и структура документа |
| LLaVA и производные | около 7B и выше | от ~4 ГБ | давняя экосистема, много готовых сборок |
| Компактные мультимодальные (класс MiniCPM-V и аналоги) | около 2–8B | от ~1,5 ГБ | заточены под работу на слабом железе |
| Сверхкомпактные (класс Moondream) | менее 2B | около 1 ГБ | быстрый ответ на простой вопрос о картинке |
Цифры в колонке весов — арифметика от числа параметров (около 0,55 байта на параметр в Q4), а не размеры файлов. Поправка именно для vision-моделей: к весам добавляется не только KV-кэш, но и память под визуальный кодировщик и токены изображения. Одна картинка высокого разрешения стоит сотен или тысяч токенов контекста, и модель, которая по расчёту «влезает» в 6 ГБ, на большом скриншоте упирается в память.
Практический вывод из таблицы: для чтения текста с изображений в первую очередь стоит смотреть на семейства, которые этим специально занимались, — линейка Qwen здесь наиболее развитая, её общий обзор есть в материале про модели семейства Qwen.
#Профиль против классического OCR
Ниже — не результат замера, а ожидаемый профиль сильных и слабых сторон двух подходов. Процентов и баллов здесь нет намеренно: они зависели бы от модели, версии Tesseract, разрешения и языка, и любая цифра была бы выдумкой. Проверяйте на своих изображениях.
| Тип изображения | Классический OCR | Vision-модель | Практический вывод |
|---|---|---|---|
| Чистый скан текста | сильно, дословно | сильно по смыслу, дословность не гарантирована | OCR, vision не нужна |
| Скриншот интерфейса | слабо: колонки, мелкий и низкоконтрастный шрифт | сильно: понимает расположение элементов | vision, но с проверкой |
| Фото документа под углом | слабо без выравнивания | средне-сильно: терпима к перспективе | vision или предобработка для OCR |
| Схема, график, диаграмма | распознаёт подписи, связи не видит | видит структуру и связи, числа читает ненадёжно | vision для описания, числа проверять |
Вывод из таблицы: инструменты не заменяют друг друга, а закрывают разные провалы. Tesseract остаётся правильным выбором там, где изображение ровное, а нужна точная строка. Vision-модель выигрывает там, где важна не строка, а расположение и смысл: интерфейсы, кривые фотографии, схемы.
#Что vision-модели делают хорошо
Читают то, что не читает OCR. Мелкий шрифт на цветном фоне, текст поверх изображения, элементы интерфейса, рукописные пометки. Там, где Tesseract выдаёт обрывки, модель обычно выдаёт связный текст.
Понимают расположение. «Какое значение в колонке „Итого“ у последней строки» — вопрос, на который OCR не отвечает в принципе: он вернёт вам плоский текст без структуры. Модель отвечает.
Терпимы к качеству съёмки. Наклон, тень, блик, часть страницы вне кадра ломают OCR гораздо раньше, чем модель. Нетекстовое — схему, скриншот ошибки, фотографию оборудования — модель тоже опишет, а OCR вернёт пустую строку.
Отвечают на вопрос, а не выдают дамп. Часто нужно не «весь текст с картинки», а «какой тут номер счёта»: модель делает извлечение и распознавание за один проход.
#Где они проигрывают
Нет гарантии дословности — и это главное. Модель порождает текст, а не извлекает его. Если символ нечёткий, она подставит правдоподобный. Если строка обрезана, она может её достроить. В результате вы получаете гладкий, уверенный, синтаксически безупречный текст, в котором номер договора отличается от настоящего одной цифрой. Классический OCR ошибается иначе: он теряет символы и выдаёт очевидный мусор, но не выдумывает. Видимая ошибка безопаснее невидимой, и для документов, где важна точность реквизитов, это решающий аргумент.
Числа и коды. Длинные последовательности цифр, артикулы, номера — самое слабое место. Ошибка здесь наиболее вероятна и наименее заметна.
Скорость и ресурсы. Одна картинка — заметная задержка и расход памяти. Пакетная обработка тысячи страниц локальной моделью несопоставима по времени с OCR, который обрабатывает страницу за доли секунды, — на потребительском железе это непрактично.
Невоспроизводимость. Два запуска на одном изображении могут дать разный текст: для конвейера это ломает дедупликацию и историю при повторной обработке.
Проблемы для поиска. Порождённый моделью текст — пересказ, а не оригинал: точные фразы из документа могут не находиться вовсе. Особенности индексации разобраны в материале про поиск по OCR-тексту.
Русский язык. Большинство vision-моделей обучалось преимущественно на английских изображениях. На русских документах и интерфейсах качество ниже, и публичные бенчмарки этого не показывают: они англоцентричны и на русский не переносятся.
#Лицензия и что учесть до внедрения
Vision-модели наследуют лицензионную картину текстовых семейств, и она неоднородна. Часть выходит под разрешительными лицензиями, часть — под собственными условиями использования производителя с ограничениями по сценариям и требованиями к именованию производных. Отдельная тонкость именно мультимодальных сборок: визуальный кодировщик может иметь собственную лицензию, отличную от лицензии языковой части. Проверять нужно обе, на карточке конкретного релиза, а не по обзорам, включая этот.
Второе ограничение организационное. Изображения, которые вы отдаёте модели, — это скриншоты рабочих экранов и фотографии документов, то есть самый насыщенный персональными данными материал, какой у вас есть. При локальном запуске картинка остаётся на вашей машине; при облачном API она уходит провайдеру целиком, вместе со всем, что попало в кадр случайно. Правила маскирования, которые стоит применять к распознанному тексту до того, как он попадёт в индекс или в переписку с моделью, собраны в материале про редактирование персональных данных в OCR-тексте.
#Кому и как это встраивать
Как запасной вариант к OCR — основной и самый практичный сценарий. Порядок: сначала Tesseract, затем проверка результата на осмысленность (доля распознанных символов, наличие ожидаемых полей), и только при провале — vision-модель. Так вы платите ресурсами и риском выдумки только за те изображения, где дешёвый инструмент не сработал.
Как основной инструмент для интерфейсов и схем — там, где OCR не годится по определению. Скриншоты, диаграммы, фотографии экранов. Vision-модель при этом дополняет основную разговорную, а не заменяет её; как подбирается основная, разобрано в руководстве о том, какую модель выбрать под свою задачу и своё железо.
Не использовать как единственный источник для документов с реквизитами. Счета, договоры, паспортные данные, накладные: здесь нужна дословность, и её vision-модель не гарантирует. Приемлемый компромисс — распознавать двумя способами и сравнивать: расхождение помечать на ручную проверку.
#Частые вопросы
#Может ли локальная vision-модель заменить Tesseract?
На ровных сканах — нет смысла: OCR точнее и в сотни раз быстрее. На скриншотах интерфейсов, фотографиях под углом и схемах vision-модель справляется там, где OCR не справляется вовсе. Практичнее всего связка: OCR как основной инструмент, модель как запасной вариант при провале.
#Почему vision-модель выдумывает текст которого нет на картинке?
Потому что она порождает ответ, а не извлекает символы. Встретив нечёткий фрагмент, модель подставляет наиболее вероятное продолжение — и получается гладкий правдоподобный текст с неверными деталями. Особенно рискованны длинные числа и коды. Классический OCR в той же ситуации теряет символы, но не достраивает их.
#Какая локальная модель лучше распознаёт текст на изображении?
Устойчиво лучше себя показывают семейства, которые специально обучались на документах и интерфейсах, — линейка Qwen-VL из открытых весов наиболее развита в этой части. Но выбор стоит делать на своих изображениях: качество сильно зависит от языка, разрешения и типа материала, а публичные сравнения англоцентричны.
#Работают ли vision-модели с русским текстом на картинках?
Работают, но заметно хуже, чем с английским: обучающие наборы изображений собирались преимущественно на английском. На русских документах и интерфейсах ожидайте больше ошибок в окончаниях, аббревиатурах и именах собственных. Проверять нужно на своих картинках — англоязычные тесты на этот вопрос не отвечают.
#Уходят ли изображения куда-то при распознавании?
При локальном запуске картинка обрабатывается на вашей машине и никуда не отправляется. При использовании облачного API изображение целиком передаётся провайдеру — вместе со всем, что случайно попало в кадр: открытыми вкладками, уведомлениями, документами на столе. Для скриншотов рабочих экранов это существенное различие.
#Вывод
Vision-модель — не улучшенный OCR, а инструмент с другой формой ошибок. Она читает то, что классическое распознавание не берёт: интерфейсы, кривые фотографии, схемы. И она же способна уверенно выдать номер, которого на изображении не было, — а классический OCR в том же месте выдаст очевидный мусор, который вы заметите.
Если у вас ровные сканы и нужна точная строка — оставайтесь на Tesseract. Если у вас скриншоты, схемы и фотографии под углом — берите локальную vision-модель, начиная с компактного варианта под ваш объём памяти. Если у вас документы с реквизитами — не выбирайте вовсе: распознавайте обоими способами и отправляйте расхождения на ручную проверку. И в любом случае постройте профиль на десятке своих изображений, прежде чем доверять любому обзору, включая этот.