Baidu бахнула Unlimited-OCR 2: модель для распознавания документов практически любой длины Она умеет извлекать текст из сканов и PDF, обрабатывать таблицы, формулы и многостраничные материалы. Но главная новизна работы не столько в качестве OCR, сколько в способе обработки очень длинных документов. У современных OCR-моделей на базе LLM есть проблема: чем больше страниц они обрабатывают и чем длиннее становится генерируемый текст, тем больше вычислений и памяти требуется для продолжения работы. Модель вынуждена постоянно обращаться к растущему объёму предыдущего контекста. Первая Unlimited-OCR уже частично решала эту проблему, ограничивая объём сохраняемой истории генерации. Но визуальные данные всех страниц по-прежнему могли создавать растущую вычислительную нагрузку. В Unlimited-OCR 2 Baidu предложила механизм Sparse Reference Sliding Window Attention (SR-SWA). Его идея довольно проста: при распознавании очередного фрагмента модель сосредотачивается на текущей странице и обращается лишь к небольшому набору наиболее полезных фрагментов из остального документа. Вместо постоянного просмотра всей накопленной информации она использует ограниченную рабочую память - например, 512 опорных токенов. В результате вычислительная стоимость каждого следующего шага остаётся приблизительно постоянной, даже когда документ становится значительно длиннее. Все как у кожаных: переписывая длинную книгу, мы смотрим прежде всего на текущую страницу, а не перечитываем все предыдущие после каждого предложения. Что на итоге?  По собственным тестам Baidu, на документах объёмом около 100 страниц новый механизм обеспечивает ускорение отдельных шагов декодирования до 7 раз относительно полного внимания и до 5.6 раза относительно предыдущего механизма. Дополнительно модель использует обработку страниц перекрывающимися блоками, что позволяет освобождать память после завершения очередного участка документа. Модель содержит около 3 млрд параметров. Код и веса опубликованы под лицензией MIT, в том числе для коммерческого использования. Ссылки: • GitHub: https://github.com/baidu/Unlimited-OCR • Веса: https://huggingface.co/baidu/Unlimited-OCR-2 • Статья Unlimited-OCR: https://arxiv.org/abs/2606.23050 @cgevent

📱 7.818 сообщений с родителями, и четверть из них – прогноз Я уже давно залипаю на r/dataisbeautiful. Увидел там недавно интересный график про переписки с родителями, рассказываю Сэм Уилсон свел в одну картинку 20 лет переписки с мамой и папой: 7.818 сообщений с 9 телефонов, от раскладушки до нынешнего айфона Самый плотный месяц за 20 лет – январь 2022, когда Сэм сломал ногу. С папой вышло 136 сообщений при обычных 8 в месяц, с мамой 104 при обычных 26. Второй пик – осень 2023, расставание и переезд Больше всего мне понравилось, как это собиралось. С последними десятью годами просто: база iMessage на маке и экспорт чатов из WhatsApp. У старых телефонов выгрузки нет вообще, поэтому Сэм собрал стенд, который фоткает каждое сообщение на экране, и прогнал снимки через OCR. Ушел целый день, и он сам признает, что руками перепечатать вышло бы, скорее всего, быстрее Дальше идут пропуски. На старых телефонах кончалась память, на одном выжили только входящие, а один айфон Сэм сбросил до заводских настроек и стер три года переписки. Дыры он закрыл моделькой: • Где выжили входящие, отправленные восстанавливает через их соотношение. Соотношение берет из полных месяцев той же эпохи • Полных месяцев из той эпохи на каждого родителя нашлось три, так что неопределенность самого соотношения тоже уходит в интервалы: бета-распределение плюс отрицательный бином • Где пусто совсем, модель опирается на сезонность – всплески на Рождество, провалы во время учебы – и на медленно плывущий общий уровень Проверял честно: прятал куски настоящих данных и смотрел, восстановит ли модель. Интервалы накрывали правду примерно с заявленной частотой, а точечные оценки в месяцах без опоры выходили слабые Голубые горы на нижнем графике до 2016 года – как раз неуверенность модели. Сама оценка там ползет у дна, около 10 сообщений в месяц, а верх интервала местами доходит до сотни В итоге из 7.818 сообщений на картинке реально существуют около 5.700. Больше 2.000, примерно четверть, досчитала модель И самая честная строчка из README: модель не умеет восстанавливать разовые события. Случись какой-то инцидент внутри пропуска – никакая сезонность его не найдет. Но оно и понятно Сломай Сэм ногу в 2013-м, на графике была бы ровная волна с горбиками под Рождество. Модель знает про Рождество, а про переломы – ничего. Вспоминайте ногу Сэма каждый раз, когда видите на дашборде аккуратно заполненные пропуски Еще мелочь по дизайну, которую стоит утащить себе. В комментах пошутили, что график ненавидит дальтоников. Сэм ответил, что специально взял цвета разной светлоты, и следом пришел комментатор с дальтонизмом сказать спасибо. Проверяется за секунду: переводите график в ч/б и смотрите, различаются ли линии А лучший коммент в треде такой:

Впечатляет, что ты достаточно странный, чтобы такое сделать, и при этом у тебя, судя по всему, здоровые отношения с родителями

Код лежит на GitHub: iMessage и WhatsApp из коробки, под Телеграм придется дописать парсер, экспорт чата в JSON есть в десктопной версии. Вся история – в 19-минутном видео с говорящим названием Stop Throwing Away Your Old Phones. Люблю такие истории 😐 @tagir_analyzes

GroundingPI 4B фундаментальная модель на визуальных примитивах для локализации объектов — детекция, позиция, OCR и другие. • Локализация точками и боксами как квантованные координаты в общем словаре • Несколько grounding-задач: детекция, pointing, OCR, layout, GUI • Как визуальный бэкбон улучшает робоманипуляцию и автопилот • #SOTA на 34 бенчмарках, 11 возможностей восприятия: средний 73.68% против 71.54% у GPT-6 Astra GroundAnything Быстрая локализация через параллельное декодирование на диффузии GroundAnything VLM Высокая точность локализации авторегрессивной VLM github.com/groundingpi/GroundAnything huggingface.co/GroundingPI huggingface.co/spaces/GroundingPI/groundanything-vlm #vlm #ocr #detection MAX

MiniCPM-V 4.7 Новая открытая серия мультимодальных моделей OpenBMB для устройств Две модели: MiniCPM-V 4.7 35B-A3B и MiniCPM-V 4.7 1B. • Мультимодальное понимание, STEM-рассуждения, #OCR и длинные видео • Локальный запуск на #iOS и #Android • Гибридное сжатие визуальных токенов 4× и 16× • Self-Replay Fine-Tuning — дешевая донастройка под новые задачи без потери общих качеств • 35B-A3B: 17+ токенов/с на iPad Pro M4 (16 ГБ), 13+ на iPhone 17 Pro Max, всего 3 ГБ памяти • LES (Lookahead Expert Scheduling) предзагружает веса экспертов — 5× ускорение на iPad Pro M4 при идентичном выводе • Даже при 16× сжатии 90.4 на OCRBench — на 5.2 пункта выше Qwen3.6 35B-A3B • Конкурентные результаты на 34 бенчмарках github.com/OpenBMB/MiniCPM-V huggingface.co/collections/openbmb/minicpm-v-47 #multimodal #mobile MAX

Occular-OCR — новый OCR-движок для русского языка от независимого разработчика (и нашего подписчика) @Bodhi_b Альтернатива Tesseract и RapidOCR с упором на распознавание сложных русскоязычных документов. Вместо тяжёлых VLM используется компактный пайплайн из специализированных нейросетей. • PDF, сканы, фотографии документов: паспорта, справки, договоры, чеки, банковские выписки • 14 языков, включая русский, английский и 12 языков с кириллицей • Автоматическое исправление наклона и поворота страниц, опциональное устранение геометрических искажений • Распознавание таблиц и восстановление порядка чтения в многоколоночных документах • Структурированный JSON с координатами строк и оценкой уверенности распознавания • Архитектура: DBNet + SVTR/CTC + Beam Search с русской 4-граммной языковой моделью • ONNX Runtime, полностью локальный инференс на CPU или GPU (CUDA) • Windows, Linux, macOS — установка через pip без компиляции и системных зависимостей CUDA • Код Apache 2.0, веса бесплатно для частного использования, исследований и небольших организ https://github.com/Bodhi42/Occular-ocr https://pypi.org/project/occular-ocr/ #ocr

Xiaomi-OCR-0 Компактная OCR-модель от лаборатории SeerRay (Xiaomi): 0.8B параметров на парсинг документов и понимание текста. Обходит модели крупнее на разборе документов и OCR-VQA-задачах. • Парсинг документов: текст, таблицы, формулы • Стабильна на сканах, пересъемках, перекосах и фото • OCR-понимание: вопросы по тексту, извлечение структурированных полей, не только транскрибация • Распознавание исторического почерка и каллиграфии • #1 на Real5-OmniDocBench (95.24), #2 на OmniDocBench v1.6 (96.83) • Среднее 83.2 по 5 OCR-VQA-бенчмаркам — лучше Qwen3.5-2B huggingface.co/SeerRay-Lab/Xiaomi-OCR-0 github.com/SeerRay-Lab/Xiaomi-OCR-0 #ocr MAX

Извлечь текст из PDF мало. LightOnOCR-3 достаёт ещё и данные из графиков 📄 LightOn выпустила семейство открытых моделей для обработки документов. За один проход они: • распознают печатный и рукописный текст; • сохраняют структуру страницы и координаты блоков; • описывают изображения; • превращают данные с графиков в таблицы. Доступны три размера: 0,8B, 1B и 4B. Лицензия Apache 2.0 позволяет адаптировать модели и разворачивать их на своей инфраструктуре. По тестам разработчиков, версия 4B набирает 86,3 на olmOCR-Bench, опережая Chandra 2, Mistral OCR 4.1 и dots.mocr. На ParseBench версии 4B и 0,8B занимают первые два места среди моделей в опубликованном сравнении. Полезный инструмент для подготовки отчётов, сканов и технической документации к поиску, аналитике и RAG. https://huggingface.co/blog/lightonai/lightonocr-3

LensVLM-9B от Apple Визуально-языковая модель на базе Qwen3.5-9B. Читает текст в сжатом виде, а потом точечно разворачивает до полного формата только те страницы, которые нужны для ответа • сканирование сжатых изображений текста • выборочное расширение нужных страниц через выученные инструменты • точность держится при сжатии в 4.3 раза • обходит retrieval и текстовые компрессоры до 10.1 раза • 9B параметров • степени сжатия 5x, 10x, 15x • работает с документами по запросу - вопрос и путь к файлу Экономит контекст на длинных документах: модель видит ужатую версию, а полные страницы загружает только когда они реально нужны Гитхаб HF Демо #vlm #ocr MAX

🌟 Jina AI улучшила DeepSeek-OCR jina-ocr-v1 - 3B модель для разбора документов на английском и китайском языках, рассчитанная под локальный запуск на недорогих системах. Модель принимает скан, фотографию или PDF и на выходе выдаёт Markdown с поддержкой LaTeX. Кроме полной транскрипции она распознаёт отдельные таблицы и формулы, подписывает изображения, отвечает на вопросы по документу и извлекает ключевые поля. 🟡Архитектура DeepSeek-OCR с визуальным энкодером DeepEncoder на 380 млн параметров, который сжимает страницу до 256 визуальных токенов и при необходимости добавляет до девяти фрагментов по 100 токенов. Декодер - смесь экспертов на 3 млрд общих и 570 млн активных параметров. Вклад Jina - спекулятивное декодирование FastMTP, где один общий блок предлагает три токена вперёд, а декодер принимает самую длинную часть, совпадающую с его собственным выбором. 🟡Тесты На olmOCR-Bench модель набрала 83,4 балла - на 7,4 больше DeepSeek-OCR и выше olmOCR-2 с 8B параметров (82,4), но ниже chandra-ocr-2 (85,8) и dots.mocr (83,9). На OmniDocBench v1.6 результат 91,14 против 90,25 у DeepSeek-OCR-2, но хуже более компактных PaddleOCR-VL-1.6 (96,34) и HunyuanOCR-1.5 (94,74). По пропускной способности модель первая среди 14 систем - 2,57 страницы в секунду на одной A100 при 32 параллельных запросах. На L4 FastMTP ускоряет генерацию в 1,95 раза в обычном режиме, но с CUDA-графами прирост падает до 1,17 раза.

⚠️ FastMTP работает только в vLLM 0.21 и новее

Без установки модель доступна через Jina Reader и онлайн-песочницу по ключу API Jina. 📌Лицензирование: CC BY-NC 4.0 🟡Блогпост 🟡Веса 🟡Arxiv 🟡Демо @ai_machinelearning_big_data #AI #ML #OCR #Deepsek #JinaOCRv1 #JinaAI

Где VLM не читали старых газет: разбираем PereStruct, открытый датасет и модульный парсер Откройте скан советской газеты. Глаз сам находит крупный заголовок, ведёт к продолжению в соседней колонке, отличает подпись под фотографией от основного текста. Для алгоритма перед ним выцветшая страница с десятками тесно расположенных прямоугольников, нестандартными шрифтами и неоднозначным порядком чтения. Казалось бы, тут и пригодится большая мультимодальная модель, которой можно отдать картинку страницы и сразу получить готовый текст. Один запрос вместо детектора, распознавания и сборщика структуры. На деле такая модель дописывает несуществующий текст, зацикливает фразы и склеивает соседние статьи в одну. Авторы PereStruct пошли другим путём и собрали пайплайн из отдельных узких компонентов, каждый со своей проверяемой задачей.

Нашел интересный проект, с помощью которого из старенького iPhone можно сделать бесплатный OCR-сервер: Это опен-сурс приложение для iOS, которое использует Vision - эпловский бесплатный on-device фреймворк (мы его знаем как функцию выделения текста на картинках) Всё очень просто:

1/ На айфоне поднимается мини-HTTP-сервер и показывается IP для подключения 2/ По API серверу отправляется картинка 4/ И передается в Vision как RecognizeTextRequest 5/ Vision делает свою работу и отдает текст, размеры картинки и координаты в JSON

По качеству Vision лучше Tesseract (кто знает тот знает) и подходит для доков, скриншотов, книг и печатного текста в целом. С рукописью могут быть проблемы. Приложение в AppStore | GitHub Нужна минимум iOS 18.4 и хотя бы iPhone XR Так что если у вас завалялся лишний айфон, можно юзать его как бесплатный бекенд для OCR ☕️ @tips_ai #news

✔️ Mistral обновила OCR-модель до версии 4.1 Главный упор сделали на обработку перегруженных страницы, где текст, изображения и подписи идут плотно и наслаиваются друг на друга. По данным Mistral, модель точнее определяет границы каждого элемента - рамки не съезжают, изображения не наезжают одно в другое по ошибке. На нагруженных технических диаграммах модель реже теряет блоки, а текстовые выноски считывает как самостоятельные объекты, а не сливает в один массив. Отдельно заявлена работа с многоколоночными документами, OCR 4.1 сохраняет исходную структуру страницы и отдает каждую колонку отдельной областью текста. В настроенных процессах тем, кто пользуется моделью, менять ничего не нужно. Алиас mistral-ocr-latest уже переводит существующие интеграции на новую версию. Руками модель можно попробовать в Mistral Studio. @ai_machinelearning_big_data #news #ai #ml

LFM2.5-VL-3B Очередная компактная модель от Liquid AI Мультимодальная зрительно-языковая, работает на самртфоне Обходит заметно более крупные модели в задачах по экранам, привязке объектов и распознаванию текста. • Понимание экранов мобильных, веб и настольных интерфейсов • Grounding - привязка объектов к координатам по запросу на естественном языке • Полностраничное OCR с разметкой макета - текст, таблицы, формулы, графики • Вызов функций и инструментов • Работа с несколькими изображениями сразу • База LFM2.5-2.6B плюс визуальный энкодер SigLIP2 NaFlex 400M • Контекст 32 768 токенов, 16 языков включая русский • Около 3 ГБ памяти • 20 ток/с на Galaxy S26 Ultra HF Демо #multimodal #vlm #compact #mobile

OvisOCR2 вышел на ModelScope. Это компактная OCR-модель на 0.8B параметров для page-level document parsing: на вход подаётся изображение страницы, на выходе получается структурированный Markdown в нормальном порядке чтения. Формулы модель отдаёт в LaTeX, таблицы в HTML, визуальные области помечает image tags с bbox-координатами. По заявленным результатам OvisOCR2 набрала 96.58 overall на OmniDocBench v1.6 и стала первой end-to-end моделью, которая заняла первое место в лидерборде, где раньше доминировали pipeline-системы. На PureDocBench тоже сильный результат: 75.06 Avg3. Это важнее, чем просто победа на одном бенчмарке, потому что документный парсинг давно страдает от переобучения под популярные наборы. Модель сделана на базе Qwen3.5-0.8B и дообучалась через SFT, RL и OPD. Для деплоя есть поддержка vLLM, лицензия Apache 2.0. https://modelscope.ai/models/ATH-MaaS/OvisOCR2