TIPS v2 Пониматор картинок от Google DeepMind с пространственным чутьем. Если CLIP понимает ЧТО на картинке, то TIPS еще и ГДЕ это. Признаки считаются не только для всего изображения, а для каждого участка (патча) отдельно - Zero-shot классификация по текстовым описаниям без дообучения - Пространственные признаки с каждого патча: скармливаешь их в сегментацию, оценку глубины, детекцию - позиции объектов не теряются - Работает на других разрешениях через интерполяцию позиционных эмбеддингов - 1.1B vision-параметров, 389M текстовых, эмбеддинг 1536, разрешение 448 - Вся линейка: от S/14 (22M) до g/14 low-res, есть вариант под слабое железо - ~2B параметров суммарно, лицензия Apache 2.0 Гитхаб HF Демо #vlm #image2features

AVA-Encoder Система от Qwen создает по фильму структурированный граф знаний: персонажи, сцены, события, объекты, стили, камера, аудио. Агент может читать этот граф, редактировать, переиспользовать - Видео → граф знаний → обратно в видео. Реконструкция как метрика качества: чем точнее восстановил, тем больше информации сохранил энкодер - Граф можно редактировать: заменить персонажа в сцене, поменять стиль освещения - зависимые элементы обновляются автоматически по связям - Готовый граф можно скормить другим видеогентам (MovieAgent, FilmAgent, Anim-Director) - качество их генерации растёт без дообучения - Два этапа оптимизации: внешний цикл обучает политику энкодера до деплоя, внутренний (опционально) дорабатывает граф конкретного видео на лету Гитхаб #vlm VK | MAX

🌟 Cohere Labs выложила компактную зрительно-языковую модель North Micro Vision Модель на 2,4 млрд параметров стала самой маленькой в линейке VLM компании. От большинства таких моделей она отличается тем, что работает с изображением в исходном разрешении.

Обычно картинку перед подачей в модель сжимают, и мелкий текст, разметка таблицы и подписи на графике при этом теряются. Здесь пропорции сохраняются, а верхняя планка соответствует странице A4, отсканированной при 200 dpi.

Отсюда и заявленная область применения - документы, таблицы, графики, скриншоты, формы. Компактный размер удобен для дообучения под свою предметную область, а квантованные сборки, по словам Cohere, пойдут не только на сервере, но и на ноутбуке или устройстве мобильного класса. 🟡Архитектура Зрительный энкодер на 400 млн параметров вырос из SigLIP 2 и держит исходное разрешение за счёт двумерного RoPE вместе с обученными одномерными позиционными эмбеддингами. Языковая часть - собственная North Micro LLM на 2 млрд параметров, повторяющая архитектуру Command A+: три слоя внимания со скользящим окном и RoPE чередуются с одним глобальным слоем, который работает вообще без позиционных эмбеддингов.

Получается разделение труда - окна с RoPE держат локальный контекст, глобальный слой смотрит на всё сразу и в разметке позиций не нуждается.

Между ними проектор, и здесь изюминка. Вместо того чтобы отдать языковой модели один готовый набор признаков, Cohere подмешивает эмбеддинги патчей с нескольких уровней зрительного энкодера в соответствующие ранние слои языковой модели. Так модель видит картинку сразу на разных степенях обобщения. Принцип взят из DeepStack. 🟡Тесты Замеры проводили через VLMEvalKit, сравнивая с восемью моделями размером от 1,6 до 5,1 млрд параметров. Сильнее всего North Micro Vision выглядит там, куда её и целили.

На DocVQA 0,921, на ChartQA 0,808, на AI2D 0,775, на RefCOCO 0,732 (втрое выше, чем у Ministral и Qwen3-VL).

Общий язык и рассуждение даются слабее.

На MMMU 0,329, худший результат в таблице; на MMLU и MMLU-Pro модель тоже уступает большинству соседей.

📌Лицензирование: Apache 2.0 License. 🟡Статья 🟡Модель 🟡Демо @ai_machinelearning_big_data #AI #ML #VLM #NorthMicroVision #Cohere

LFM2.5-VL-3B Очередная компактная модель от Liquid AI Мультимодальная зрительно-языковая, работает на самртфоне Обходит заметно более крупные модели в задачах по экранам, привязке объектов и распознаванию текста. • Понимание экранов мобильных, веб и настольных интерфейсов • Grounding - привязка объектов к координатам по запросу на естественном языке • Полностраничное OCR с разметкой макета - текст, таблицы, формулы, графики • Вызов функций и инструментов • Работа с несколькими изображениями сразу • База LFM2.5-2.6B плюс визуальный энкодер SigLIP2 NaFlex 400M • Контекст 32 768 токенов, 16 языков включая русский • Около 3 ГБ памяти • 20 ток/с на Galaxy S26 Ultra HF Демо #multimodal #vlm #compact #mobile

The RE-GoT (Reward Evolution with Graph-of-Thoughts) - или опять все переписывать / эволюционировать. +1 уровень абстракции... - next step, пока в других чатах крутятся задачи... Начал моделировать дальше и проверять прогнозирование / моделирование наперед и получил "Rust MCTS(Monte Carlo Tree Search) Nodes (84,203)" -> уровень фрактальной рекурсии 5, когда проходят разные гипотезы от изначальной задачи с помощью ее декомпозиции и деревьер решений/возможности. Внезапна продумать на 5 шагов "вниз"/"вглубь" - это уже 84k+ узлов которые надо обрабатывать. /***/ Количество узлов-гипотез в памяти. Это число симулированных вариантов развития событий. Благодаря хранению в Rust (Lock-Free Arena Allocator), Питону не нужно держать 84к объектов в RAM, что предотвращает утечки памяти (Memory Leaks) и зависание Garbage Collector'а. /***/ Описание про Re-GOT: *** The RE-GoT (Reward Evolution with Graph-of-Thoughts) framework is an advanced bi-level artificial intelligence architecture designed to optimize reinforcement learning (RL) tasks by combining graph-based reasoning with visual validation. Instead of relying on manual, human-crafted reward functions, RE-GoT lets large language models (LLMs) and visual language models (VLMs) autonomously build, evaluate, and refine task rewards. *** Красивая картинка в комментах откуда взял: paper'ы 2509.16136v2 + 2509.16136 из arxiv org

Video-DeepResearch Учит мультимодальных агентов работать не с картинками, а с полноценным видео. Модель сначала внимательно разбирает, что происходит в кадре по месту и времени, и только потом идет искать информацию в интернете. Разработчики так решили две частые проблемы агентов: те слишком любят текстовый поиск вместо разбора видео и часто просто выдают заученные факты вместо реальной работы с инструментами. • разделяет процесс на восприятие видео и поиск информации, инструменты открываются постепенно • заставляет модель сначала точно найти нужный момент в видео и только потом переходить к поиску и ссылкам • точность 68.0% на Video-DR при 35B-A3B - выше чем у Claude-4.5-Sonnet (63.0%), Gemini 2.5 Pro (62.0%) и GPT-5 (57.0%) • версия 30B-A3B показывает 62.0%, столько же сколько Gemini 2.5 Pro, но с намного меньшим числом параметров Гитхаб #deepresearch #vlm

SpatialClaw Фреймворк от NVIDIA для пространственного рассуждения (spatial reasoning), позволяет VLM решать сложные задачи с визуальными данными, не требуя дополнительного обучения Вместо того чтобы дообучать модель под пространственные задачи, SpatialClaw даёт ей инструмент в виде Python‑кода, исполняемого в постоянном (persistent) вычислительном ядре. Модель выступает как агент: * Пишет код для анализа сцены * Запускает код и видит промежуточные результаты * Анализирует результаты и при необходимости переписывает или дополняет код * Компонует модули восприятия Такой подход резко повышает точность в задачах, где нужно не просто описать картинку, а понять геометрию, отношения между объектами и выполнить вычисления Гитхаб #vlm #reasoning #optimization

RPC-Bench: новый бенчмарк для long-context, RAG и multimodal paper understanding На ModelScope вышел RPC-Bench - датасет для проверки моделей на реальном понимании научных статей. Он заточен не под короткие QA, а под задачи, где модель должна работать с длинным контекстом, PDF-структурой, визуальными элементами и вопросами в стиле peer review. Внутри есть текстовые и визуальные входы: Markdown, оригинальные PDF, результаты парсинга и изображения страниц. Это делает RPC-Bench полезным не только для LLM, но и для VLM-оценки, где важно понимать документ как полноценный артефакт, а не просто набор извлечённых абзацев. Масштаб тоже серьёзный: 61,3K QA-пар из 4 150 научных работ, включая около 15K human-verified QA-пар для evaluation. Интересная часть в происхождении данных. Вопросы собраны из реальных review-rebuttal exchanges, поэтому они ближе к тому, как статью проверяет рецензент: методы, доказательства, claims, слабые места и соответствие выводов экспериментам. По результатам видно, что задача далека от решённой. Даже GPT-5 набирает только 68,2% по correctness-completeness, а после conciseness adjustment результат падает до 37,46%. Dataset: https://modelscope.ai/datasets/zai-org/RPC-Bench Paper: https://modelscope.ai/papers/2601.14289