Xiaomi представила OCR-0: компактная модель для распознавания документов набирает 95 баллов в тестах

Модель построена на архитектуре Qwen3.5-0.8B-Base. Разработчики дообучили её на огромном корпусе из 170 миллионов примеров. В этот датасет вошли не только целые страницы, но и отдельные фрагменты документов, а также задания на понимание прочитанного.

Такой подход позволил научить систему не просто видеть символы, а разбираться в структуре материала. После предварительного обучения инженеры применили метод обучения с подкреплением. Его использовали на самых сложных и неоднозначных примерах, чтобы отточить точность модели в реальных сценариях.

Результат говорит сам за себя: в тесте Real5-OmniDocBench новинка набрала 95,24 балла, а в OmniDocBench v1.6 — 96,83 балла. Средняя оценка по пяти различным тестам составила 83,2 балла. Это ставит OCR-0 в выигрышное положение по сравнению с более крупной моделью Qwen3.5-2B, чей средний результат остановился на отметке 80,9 балла.

Компактность здесь неожиданно обернулась преимуществом в производительности. Функционально система не ограничивается простым сканированием. Она умеет извлекать нужные поля из документов и отвечать на вопросы по их содержанию.

Для структурированного вывода данных предусмотрена работа с JSON-схемами, что упрощает интеграцию в корпоративные процессы. Особого внимания заслуживает работа с форматами. Модель сохраняет естественный порядок чтения страниц, корректно обрабатывает таблицы и математические формулы.

Итоговый текст она выдает в Markdown, а формулы преобразует в формат LaTeX, что делает её удобным инструментом для исследователей и технических специалистов. Весь код и веса модели опубликованы под лицензией Apache 2.0. В репозитории проекта можно найти всё необходимое для локального запуска, включая MCP-сервер и специальный скилл для подключения к ИИ-агентам.

Это открывает дорогу для создания автономных систем документооборота. Для тех, кто хочет опробовать возможности без сложной настройки, Xiaomi запустила интерактивное демо на платформе Hugging Face. Оно позволяет протестировать распознавание прямо в браузере, не устанавливая никакого программного обеспечения.