GroundingPI 4B фундаментальная модель на визуальных примитивах для локализации объектов — детекция, позиция, OCR и другие. • Локализация точками и боксами как квантованные координаты в общем словаре • Несколько grounding-задач: детекция, pointing, OCR, layout, GUI • Как визуальный бэкбон улучшает робоманипуляцию и автопилот • #SOTA на 34 бенчмарках, 11 возможностей восприятия: средний 73.68% против 71.54% у GPT-6 Astra GroundAnything Быстрая локализация через параллельное декодирование на диффузии GroundAnything VLM Высокая точность локализации авторегрессивной VLM github.com/groundingpi/GroundAnything huggingface.co/GroundingPI huggingface.co/spaces/GroundingPI/groundanything-vlm #vlm #ocr #detection MAX

S-Space Исследование MirroS: у мультимодальных моделей внутри есть «3D-карта». В промежуточных активациях нашли 3D линейное подпространство, где объекты лежат с координатами по горизонтали, вертикали и глубине. • Кодирует непрерывные позиции объектов (X, Y, расстояние) • Персистентно между промптами и ракурсами • Объединяет визуальное и языковое, включая объекты за пределами видимого • Можно каузально менять, чтобы управлять пространственными оценками • Прямое чтение подпространства работает точнее нативной рассуждалки модели • Испробовано на Molmo2-ER, MolmoAct2, Qwen3.5-4B, Qwen3.6-27B Полезно и для диагностики: показывает, где и как модель проваливается в «принятии перспективы». Подсказывает путь к надежным пространственным рассуждениям и действиям github.com/mirros-lab/s-space #research #reasoning MAX

TrackEverything от CMU и Meta (запрещено в РФ) Плотный 3D-трекер точек на длинных видео. Отслеживает все видимые точки всех кадров на горизонте 1000+ кадров, представляя видео как постоянные 3D-трассы в мировых координатах • все точки, а не только с первого кадра - трек начинается, как только точка появилась • 3D и 2D трассы одновременно, с учётом движения камеры • классификация статика/динамика покадрово по окнам • разбиение на дубликаты в 3D-представлении убирает двойные соответствия Метод через дедупликацию 3D-сцен-репрезентаций - в отличие от предшественников с ретроспективой на первый кадр. Слабые места честно называются: быстрые смещения и текстуры с повторами ломают соответствие Гитхаб ждем #tracking MAX

🚀 3/3 EMNLP 2026 🚀 Три из трех (!!!) наши статьи по исследованиям жестовых языков (РЖЯ в частности) прошли на EMNLP 2026. Это была последняя переподача, до этого было несколько реджектов на другие крупные конфы. Спасибо всем причастным, кто работал над созданием статей, особенно наших бывших коллег @karinakvanchiani @TOOFACK и @lizaforlizard ♥ О чем писали и какие ревью пришли? 🔤 Bukva: Russian Sign Language Alphabet https://arxiv.org/abs/2410.08675 Bukva — открытый датасет изолированного дактиля (алфавита) русского жестового языка (РЖЯ). Он содержит 3757 видео (33 буквы, включая 8 динамических), записанных 155 дикторами. В качестве бейзлайнов использованы модели с модулем временного сдвига (TSM) на базе MobileNet/ResNet. Также представлено демо-приложение для обучения алфавиту. ➕ 155 участников — это огромный шаг вперед по сравнению со старыми датасетами РЖЯ (где было от 4 до 20 человек). ➕ Прозрачный пайплайн: Подробно описан процесс сбора, фильтрации и оплаты труда краудворкеров. ➕ Строгий контроль: Дикторы и валидаторы сдавали экзамен на знание РЖЯ. ➕ Качественный сплит train и test по дикторам (модель тестируется на людях, которых не видела при обучении, в других работах разбивка была случайна). ➖ Игнорирование специфики: динамическое буквы (главная фишка датасета) не оцениваются отдельно от статических. ➖ Слабые бейзлайны: Нет сравнения с современными трансформерами (за этом нам часто напихивают, но любой трансформер переобучится под этот сет) 👌 HandReader: Advanced Techniques for Efficient Fingerspelling Recognition https://arxiv.org/abs/2505.10267 Эту статью приняли с очень высокими рейтингами: accept, clear accept, strong accept Работа посвящена распознаванию дактиля американского жестового языка (ASL). Мы предлагаем семейство из трех моделей (RGB, скелетные точки и мультимодальная) с новыми архитектурными блоками: TSAM (для обработки видео разной длины без паддинга) и TPE (кодировщик поз). Модель устанавливает новый SOTA на бенчмарке ChicagoFSWild+. ➕ Работа с естественными данными, независимыми от диктора. ➕ TSAM легко решает проблему видео переменной длины (без обрезки и паддинга), что экономит память. ➕ Превосходит все предыдущие методы, обученные даже на больших объемах данных. ➖ Заявляем об «экономии 50% VRAM» и «легковесности», но не приводим ни одной цифры (нет замеров FLOPs, параметров, скорости инференса или потребления памяти). ➖ Слабая мультимодальность: простое суммирование фичей RGB и скелета дает минимальный прирост, что ставит под сомнение реальную взаимодополняемость модальностей. 👩‍💻 Znaki: A Russian Fingerspelling Recognition Dataset Это первый непрерывный датасет дактиля РЖЯ. В отличие от Bukva (где буквы изолированы), здесь дактиль связан во фразы (в основном имена собственные). Датасет включает 37252 видео (35.4 часа) от 68 дикторов. Краудсорсинг с двухэтапной проверкой на знание РЖЯ. ➕ Уникальность: заполняет критический пробел, отсутствие датасетов именно непрерывного русского дактиля. ➕ Исключение утечек: жесткое разделение по дикторам и фразам между train/validation/test. ➕ Разнообразие: Записи сделаны в разных условиях (не только в студии) ➖ Отсутствие побуквенной разметки: Размечены только начало и конец всей фразы, что делает невозможным обучение точной временной сегментации букв. ➖ Синтетическая природа фраз: Фразы генерировались с помощью GPT-4o ➖ Узкий охват: Только имена собственные, нет чисел, аббревиатур или естественной разговорной речи. 🌟 Общее саммари по всем трем статьям Все работы посвящены актуальной и сложной проблеме распознавания дактильной речи (fingerspelling). Две работы (Bukva и Znaki) фокусируются на создании датасетов для русского жестового языка (РЖЯ), который исторически страдает от нехватки данных, в то время как третья (HandReader) предлагает архитектурные улучшения для американского жестового языка (ASL). Ну и главный плюс — работы в opensource! 🖥 #release #emnlp2026 #conference

Marigold V2 Оценка глубины по одному изображению, переработанная версия Marigold Превращает DiT в инструмент оценки глубины. Выглядит многообещающе - Глубина в один шаг: дистилляция из многошаговой flow-matching модели, с квантованием опционально - Решает проблему размытия: шерсть, листья, тонкие края — то, что раньше размазывалось, теперь резкое - Обобщается на непохожие данные - Не только глубина: те же приемы дают #SOTA на оценке нормалей и разложении изображения на компоненты - Два ключевых приtма: выравнивание внутренних представлений с семантикой + двухстадийный финтюн с Sinkhorn-лоссом Гитхаб HF Демо #image2depth #image2normals #image2pbr

​​Qwen-Drive 1.0: Turning a General VLM into a Driving Foundation Model Свежая работа от Qwen Team про автономное вождение. Обычно VLA-подходы берут предобученную VLM как источник семантики и рассуждений, дообучают её на driving-данных и прицепляют к ней предсказатель траектории. Проблема в том, что language supervision плохо ограничивает реальную 3D-геометрию (модель может убедительно описать сцену, имея при этом очень приблизительное представление о расстояниях и occupancy), а агрессивная доменная адаптация теряет часть общих знаний, которые как раз и нужны в редких и out-of-distribution ситуациях. Qwen-Drive-1.0 добавляет два внешних модуля к Qwen3.5-4B: BEV perception head для 3D-детекции, occupancy и сегментации карты, и Planning Expert на ~1.1B параметров, который генерирует пятисекундные траектории через flow matching. Planning Expert читает cached keys и values из восьми GQA-слоёв VLM, то есть VLM работает как read-only источник контекста и на обеих стадиях планирования остаётся полностью замороженной. RL-часть весьма интересна. Euler-сэмплирование во flow matching детерминированное, поэтому политики, по которой можно взять градиент, попросту нет. Авторы добавляют шум только на последних трёх шагах из десяти и только вдоль нескольких низкочастотных косинусных мод: получаются плавные сдвиги и изгибы всей траектории вместо джиттера по отдельным waypoints. Результаты: - Driving VQA: 63.52 → 69.43 относительно базовой Qwen3.5-4B - Общие VLM-бенчмарки: 66.41 против 67.40 у базовой модели, просадка меньше балла - Probe: обучение одной только головы на замороженных фичах отстаёт от BEVFormerV2 на 6.34 mAP, а разморозка энкодера и VLM добавляет 10.46 mAP - NAVSIM: 90.7 PDMS против 90.4 у ExploreVLA и EponaV2 Paper Code Project Мои обзоры: Блог Medium #paperreview

Object Concepts Emerge from Motion Метод учит нейросеть видеть объекты на картинке без ручной разметки просто наблюдая за движением Идея из детской психологии: младенец понимает, что части двигаются вместе, значит это один объект. Авторы применили то же к ИИ: если кусок видео движется как единое целое, считаем его объектом. Разметка не нужна, видео в интернете полно. Результат: на готовом фото модель сама разделяет машины, людей, тротуары. Сравнима с конкурентами, которых учили на дорогой размеченной разметке. Главное применение - автономное вождение: глубина, 3D-детекция, планирование пути Гитхаб HF #segmentation #video2feature VK | MAX

Еще новинки в семействе LingBot LingBot-Vision Vision-модель для роботов и мобилок Ловит границы, глубину, геометрию сцены. Не "что на фото", а "где края и как далеко" • 4 размера: от 13M до 1.1B параметров • self-supervised обучение без разметки • обгоняет DINOv3 при кратно меньших параметрах Apache-2.0, веса открыты, подходит для edge и роботов Гитхаб HF ——— LingBot-Depth 2.0 Считает глубину по фото, строит 3D-карту сцены. Справляется на сложных текстурах, с прозрачностью и в слабом свете. • оценка глубины с учётом семантики сцены • работа с мультимодальными входами (RGB + признаки) Подходит для мобильных и edge-устройств. Волшебно, но ссылок на саму модель нет 🤷‍♂️ #vlm #cv #video2depth #video2feature

LUNA (Learning Universal 3D Human Animation Beyond Skinning) 3D‑анимация человека Главная фишка в том, что она обходится без традиционного Linear Blend Skinning (LBS) и явного подбора параметров тела (body fitting). LUNA напрямую преобразует 2D‑сигналы (изображения, ключевые точки, эскизы) в деформации гауссиан, минуя этап построения скелета и назначения весов кожи. Это позволяет: * Избежать типичных артефактов LBS - переломов сетки, «пережатий» на сгибах и прочих проблем, связанных с неточным скинингом. * Работать с незнакомыми персонажами - модель умеет анимировать персонажей, которых не было в обучающей выборке * Поддерживать разные типы управления - можно использовать в качестве контроля для анимации и фото, и ключевые точки, и даже наброски. Кода-весов нет пока #research #humananimation #gaussian

ASASR: Coloring the Noise: Adversarial Sobolev Alignment for Faithful Image Super-Resolution Апскейл изображений 4x методом состязательного выравнивания по Соболеву. Он помогает модели восстанавливать детали, лучше сохраняя структуру и правдоподобность текстур, а не выдумывая их. Ключевая идея - выравнивать генеративный процесс со статистикой естественных изображений через спектрально окрашенный шум и adversarial‑коррекцию. Выполнено в виде лоры к Flux.1‑dev Два компонента LoRA для совместного использования: * базовый SR‑LoRA - сам апскейл и предварительная структура * AS‑DPO LoRA - подавляет артефакты и галлюцинации Гитхаб HF Спасибо @m_franz #flux #lora #upscale #imagerestoration