Jina AI представила модель jina-ocr-v1 на базе DeepSeek-OCR

🌟 Jina AI улучшила DeepSeek-OCR jina-ocr-v1 - 3B модель для разбора документов на английском и китайском языках, рассчитанная под локальный запуск на недорогих системах. Модель принимает скан, фотографию или PDF и на выходе выдаёт Markdown с поддержкой LaTeX. Кроме полной транскрипции она распознаёт отдельные таблицы и формулы, подписывает изображения, отвечает на вопросы по документу и извлекает ключевые поля. 🟡Архитектура DeepSeek-OCR с визуальным энкодером DeepEncoder на 380 млн параметров, который сжимает страницу до 256 визуальных токенов и при необходимости добавляет до девяти фрагментов по 100 токенов. Декодер - смесь экспертов на 3 млрд общих и 570 млн активных параметров. Вклад Jina - спекулятивное декодирование FastMTP, где один общий блок предлагает три токена вперёд, а декодер принимает самую длинную часть, совпадающую с его собственным выбором. 🟡Тесты На olmOCR-Bench модель набрала 83,4 балла - на 7,4 больше DeepSeek-OCR и выше olmOCR-2 с 8B параметров (82,4), но ниже chandra-ocr-2 (85,8) и dots.mocr (83,9). На OmniDocBench v1.6 результат 91,14 против 90,25 у DeepSeek-OCR-2, но хуже более компактных PaddleOCR-VL-1.6 (96,34) и HunyuanOCR-1.5 (94,74). По пропускной способности модель первая среди 14 систем - 2,57 страницы в секунду на одной A100 при 32 параллельных запросах. На L4 FastMTP ускоряет генерацию в 1,95 раза в обычном режиме, но с CUDA-графами прирост падает до 1,17 раза.

⚠️ FastMTP работает только в vLLM 0.21 и новее

Без установки модель доступна через Jina Reader и онлайн-песочницу по ключу API Jina. 📌Лицензирование: CC BY-NC 4.0 🟡Блогпост 🟡Веса 🟡Arxiv 🟡Демо @ai_machinelearning_big_data #AI #ML #OCR #Deepsek #JinaOCRv1 #JinaAI