SOMA Реконструкция работы мышц по обычной многокамерной съемке. На вход поза и вид кожи, на выход смещения внутренних мышц и слоя кожи поверх них. • Анатомия в несколько слоев: кожа, мышцы, скелет • Покадровая деформация мышц по позе • Отдельные мышцы в высоком разрешении, а не одна общая оболочка • Кожа скользит и сжимается поверх мышцы, а не едет за ней жестко • Работает без тяжелого конечно-элементного моделирования Датасет SKIM собран специально: по маркерам на коже внутренние мышцы не восстановить, поэтому есть и сканы тела, и привязка маркеров к отдельным мышцам. Сеть дополнительно держат физические ограничения: гладкость, сопротивление изгибу, сохранение объема. github.com/edualvarado/SOMA #hmr MAX

От первого мотора до робота, который учится по демонстрациям: открытая дорожная карта по робототехнике на русском. Robotics Roadmap 2026 предлагает план на 24 недели при занятиях по 2–3 часа в день. Обучение начинается с электроники и постепенно переходит к управлению и машинному обучению. Внутри шесть модулей: - Электроника, Python и Git - базовые схемы и инструменты. - Arduino и ESP32 — моторы, датчики, линейный робот и балансир. - CAD и 3D-печать — сборка робота-манипулятора. - ROS 2 — симуляция, построение карты и автономная навигация. - Управление и компьютерное зрение — регуляторы, кинематика, работа с камерой. - LeRobot — сбор демонстраций и обучение робота. Есть схемы подключения, примеры кода, списки компонентов, справочник по отладке и 30 идей проектов. Начать можно без покупки железа — в симуляторах. Дальше предлагается оформлять проекты в портфолио: видео, схема, код и разбор того, что сломалось и как удалось исправить. Полезная отправная точка для программиста, который хочет заставить свой код двигаться в физическом мире. https://github.com/justxor/robotics-roadmap-2026/

WeVisOne-VL-2B Одна модель Tencent на замену пачке узких: детекция, поиск по описанию, счет объектов, указание точки, #OCR, сегментация и маттинг по подсказке Все задачи сводятся к структурному предсказанию токенов, поэтому один проход закрывает рамки, маски и альфу в полном разрешении. Работает с одиночными картинками, сетку видео не принимает. Слабое место - сложная прозрачность и сильные перекрытия • Находит объекты без заранее заданного списка классов • Локализует по описанию словами и ставит точку на объекте • Считает объекты и читает текст с координатами • Режет объект по текстовому запросу • Делает альфу с мягкими краями, например для вырезания человека База Qwen3-VL, 2B github.com/Tencent/WeVisOne-VL huggingface.co/tencent/WeVisOne-VL-2B huggingface.co/spaces/hugging-apps/wevisone-vl-4b #detection #cv #segmentation MAX

👁 Досье по одной фотографии Сколько можно узнать о человеке по одному снимку? Ответ, честно говоря, неприятно удивляет. Сайт They See Your Photos работает на API компьютерного зрения от Google: загружаете фото и получаете досье. Редактор The Verge Терренс О'Брайен испытал сервис на себе. Алгоритм безошибочно определил его возраст, доход, политические взгляды и религиозные убеждения. А заодно верно угадал, что О'Брайен собирает винил. Сайт подобрал, что именно ему стоит рекламировать: кофе спешелти и дорогую аудиотехнику, музыкальную программу Ableton Live, канцелярию Muji и верхнюю одежду Patagonia. Готовый портрет покупателя всего лишь по одной картинке. Есть нюанс: сайт это промо конкурента Google Photos, так что у создателей свой интерес. Но свою мысль он доносит предельно ясно: даже одна фотография может рассказать о человеке пугающе много. Рискнули бы загрузить туда своё фото? @droidergram

GaussFusion Чистка 3DGS видеомоделью CVPR 2026, Stanford и Zillow Group. • Чинит готовую реконструкцию на гауссианах: убирает летающие точки, мерцание и размытие от ошибок позы камеры и неполного покрытия • Не переобучает сцену, а улучшает рендер видео-моделью • Работает и с оптимизационными методами, и с прямыми вроде DepthSplat Как работает • Из реконструкции рендерится буфер гауссиан: цвет, глубина, нормали, непрозрачность, ковариация • Буфер идет в VAE и трехмерную свертку, сжимается в латент геометрии • Flow-трансформер на блоках DiT с геометрическими адаптерами сшивает его с латентом видео, текст входит через cross-attention • На выходе согласованные по времени кадры без артефактов Быстрый вариант дает 16 FPS, годится под интерактив Код и модель ждем Спасибо @m_Franz #gaussian MAX

UniForge3D Метод, который одновременно реконструирует и генерирует 3D-объект из разреженных снимков без поз камеры. Наблюдаемую геометрию сохраняет, невидимые области достраивает по выученным приорам. • Реконструкция работает в системе координат камеры, генерация — в каноническом пространстве, из-за этого прямое взаимодействие геометрии ломается • Если учитывать все виды сразу без оценки их полезности, к геометрии подмешивается лишнее и страдают мелкие детали • #SOTA по внешнему виду и геометрии на Toys4K и GSO • Работает по разреженным снимкам без известных поз huggingface.co/xibushu/UniForge3D github.com/xibushu/UniForge3D #scenereconstruction #imageto3d MAX

Это сильно менее залипательно, чем предыдущий пост с mediapipe, но гораздо сложнее технически – эту штуку я в прошлой жизни так и не осилил сделать в разумные сроки Короче, проблема mediapipe в том, что эта штука детектит части нашего тела чисто по одной камере. И даже в глубину умеет. Но очень посредственно – как человек с одним глазом – как бы по общей геометрии примерно понятно, что ближе, что дальше, но полноценное определение расстояний работает только с двумя глазами

Если прям душнить, то у нас есть биологический механизм, который позволяет по-честному определять расстояния даже одним глазом, просто он изначально не для этого нужен и работает достаточно медленно и не точно. Респект тому, кто догадается какой

Так вот, на видео слева внизу как раз это заметно – при повороте кистей или сжатии кулака рука почему-то куда-то уезжает. Так никакую систему проверки корректности движений для качалок не построишь (когда-то в ковидные годы я с этой идеей даже подавался в стартап-акселератор) Нужна вторая камера А как только появляется вторая камера, сразу нужно учится их калибровать – определять положение относительно друг друга. А потом еще химичить отображение самой сцены – просто проекциями не решается, т.к. сцена – не линия, и на каждой камере имеет свою геометрию. И понеслаааась Короче, в открытом доступе ничего нормально работающего я не нашел, тем более в браузере. Но теперь есть opus-5.5 Спустя пару промптов из серии "...триангуляция...блаблабла...автоматическая рекалибровка...блаблабла...межзрачковое расстояние как референс...блаблабла...протести на открытых датасетах...блаблабла...не дергай меня, сделай сам..." ... я получаю офигенный результат (справа внизу на видео): стабильная сцена, честное расстояние в сантиметрах и устойчивость к сдвигу камер. И все это просто по вебке макбука + iphone (в continuity режиме). Минут 5 наверное сидел довольный, махал руками перед экраном Ноль идей где и как это можно использовать, но зато закрыл свой старый гештальт по настоящему трехмерному pose estimation 🤷‍♂️

📌 Humanity's Sixth Sense: мультимодальные модели все еще отстают в когнитивном восприятии Исследовательское подразделение Scale Labs в партнерстве с Elorian представило бенчмарк Humanity's Sixth Sense, созданный для проверки способности ИИ интерпретировать скрытые социальные сигналы и пространственные взаимосвязи на изображениях и видео. Набор тестов состоит из 522 вопросов по 288 статичным сценам и 234 видеофрагментам (оценка габаритов разъезда автомобилей, мотивы поведения людей, негласная иерархия в кадре и т.д) Испытания 25 актуальных мультимодальных моделей зафиксировали заметное отставание от человека.

Контрольная группа людей набрала 93,1% точности, лидирующая GPT-6 Astra - 53,6%. Результаты GPT-6.1 Sol и Claude Opus составили 46,6% и 44,6%, медиана по выборке - 30,9%.

Детальный разбор более 8,5 тысяч неудачных ответов показал, что 94% из них вызваны сбоями первичного машинного зрения - модели пропускают маркеры в кадре и теряют контекст. На ошибки в логике рассуждений пришлось всего 5%. Увеличение вычислительного бюджета (в среднем 4000 токенов на ответ) не решило проблему, а иногда еще и снижало точность. Эмуляция фокусировки через кроп также дала минимальный эффект.

Scale Labs по итогу тестов пришли к выводу, что масштабирование логического вывода не компенсирует ограничения базовой архитектуры компьютерного зрения.

@ai_machinelearning_big_data #news #ai #ml

ROME (Building Rome from a Single Image) Метод от Applied Intuition + университетов • Из одного фото — детальный 3D-меш всей сцены • Завершает геометрию за пределами того, что видно на снимке • Интерактивное измерение расстояний в метрах прямо во вьюере • Сравнивалось с World Tracing, GenRecon, VolFill, Lyra 2.0 • Адаптивные чанки: мелкие вблизи, крупные для дальних зданий • Автогрессивная генерация — соседние чанки переиспользуют латенты, геометрия согласованна • 2D-3D кондиционирование: каждый воксель знает, свободен он, видим или скрыт В веб-вьювере меши упрощены до ~1.5M граней, в статье и видео — полное разрешение Код ждем #scenereconstruction #imageto3d #image2mesh MAX

DistScene Система от CoolBeam: превращает одно изображение в редактируемую 3D-сцену с расставленными объектами и окружением. • Генерация сцены из одного изображения: окружение и объекты вместе • Объект-центричный рефайнмент — восстановление деталей с акцентом на объект • Сцены композиционные: объекты можно редактировать отдельно • Прямой импорт в симуляторы навигации • Интерактивная демка в браузере Как работает • Самодистилляция данных: Trellis.2 генерирует объекты и среды, физик-чеки собирают сцены, рендер даёт conditioning • Два этапа: разреженная структурная генерация + геометрия-латентная генерация • Объект уводится в локальный воксельный саппорт для рефайнмента и возвращается обратно • База — разреженные воксели, разреженный DiT на flow-matching и LoRA huggingface.co/coolbeam/DistScene-preview-assets Спасибо @m_franz #image2scene #imageto3d MAX

FlowHMR Физически правдоподобный мокап из обычного видео. Из монокулярного ролика восстанавливает глобальное 3D-движение человека, которое физический контроллер реально может повторить в симуляции. • 0.46B • Глобальный 3D-motion из одиночного видео • Движение физически корректно — симулируемый персонаж может его отследить • Flow matching + physics-based GRPO • Демо в 3D-вьювере прямо на сайте Как применяют • Робототехника: ретаргет на Unitree G1, трекинг в симуляции через SONIC • Анимация: реконструкция сцены и ретаргет через GPT-6 Astra • Text-to-motion: генерация видео через MiniMax H3, затем захват движения FlowHMR Гитхаб HF #mocap MAX

Про ML в маркетплейсах Ozon Tech традиционно провёл ко Дню программиста конференцию E-CODE. Записи докладов уже выложили. В треке ML/DS разбирали в том числе рекомендательную систему Ozon. Компания постепенно переводит на нейросетевые модели разные этапы пайплайна, от отбора кандидатов до финального ранжирования. При этом система должна учитывать продажи, рекламу, вовлечённость и LTV. В докладе также разобрали архитектуру Large User Model, которая объединяет пользовательские сигналы, включая негативную обратную связь. Другой доклад посвятили измерению габаритов товаров на конвейере с помощью стереокамеры, сегментации и 3D-реконструкции. Для этой задачи собрали датасет из более чем 100 000 изображений, а для полуавтоматической разметки использовали Grounding DINO и SAM2. Товары движутся со скоростью до 1 м/с, так что помимо точности важна и скорость обработки. Команда сравнивала ML-подход с классическими методами и подходами на основе облаков точек по качеству, стоимости и производительности. Вообще все шесть докладов трека достойны внимания. Посмотреть можно здесь Ещё из примечательного: на конференции подвели итоги ежегодного ML-соревнования E-CUP. В этом сезоне его проводили только для студентов. Победители разделили призовой фонд 7,2 млн рублей за решения задач на реальных данных Ozon. @ai_newz

GAE от Tencent ARC и HKUST Геометрический автоэнкодер для генерации миров. Сжимает 3072-канальные геометрические признаки в компактные 128 каналов, из которых декодируются RGB, глубина, траектории камеры и облака точек. Не достраивает геометрию постфактум, а кладет еt внутрь генерируемого латента • из одного латента - картинка, глубина, позы камеры и 3D одновременно • управляемый flow matching - текст, референс-кадр и метрические лучи камеры • обзорные сцены с перемещением камеры, indoor и outdoor • text-to-image с генерацией 3D-геометрии по одному промпту • 1B параметров Латентное пространство работает как общий интерфейс между восприятием и генерацией - один латент, четыре связанных выхода Гитхаб HF #world #vae MAX

FoundationStereo и FoundationPose (NVIDIA) Две открытые модели для 3D-перцепции из систем Vision AI FoundationStereo Стерео-глубина без дообучения. Пара RGB-картинок со стереокамеры на входе, точная карта диспаритета на выходе. • Zero-shot стерео-матчинг на новых сценах • Для робототехники промышленности и умных пространств • ONNX и TensorRT • Работает от Jetson до H100 Слабые места: прозрачные объекты пересвет и плохое освещение. FoundationPose 6-DoF поза объектов без обучения. CAD-модель -> положение и ориентация объекта на RGBD-кадре плюс трекинг по видео • Zero-shot на новых объектах нужен только CAD • Оценка позы и отслеживание на видео • Обучена на synthetic-данных Objaverse и GSO • Средний скор 83.3 на BOP-бенчмарках • TensorRT работает от Orin Nano до H100 #stereo2depth #image2depth #image2pose

EventEgoHands++ (Keio University) Реконструкция 3D-модели кистей рук по данным event-камеры с точки зрения первого лица. Обычные камеры слепнут в темноте и от смаза при движении, event-камера фиксирует только изменения яркости — работает и в почти полной темноте - Отдельный Hand Detector: различает левую и правую руку по-отдельности с bounding-box и масками - Adaptive Attention: динамически гейтирует внимание по результатам детекции — моделирует взаимодействие и взаимное расположение двух рук - Работает при плохом освещении и сильном смазе где RGB и depth пасуют - Определяет сколько рук в кадре: одна две или ни одной Гитхаб #hands #videoto3d VK | MAX

SceneMosaic (HKU + UESTC) Из одной фотки — серия готовых к симуляции 3D-сцен с разными вариантами расстановки. Вместо долгого агентного text-to-3D (часы) или быстрого, но кривого image-to-3D с летающими объектами, SceneMosaic берет скорость от картинок, а физику от агентов - Из одного референса: реконструкция объектов, физическая стабилизация, агентная эволюция расстановки - Разнообразие: сцена раскладывается на локальные единицы, каждый вариант меняется независимо, потом комбинируются — десятки валидных планировок - VLM-агенты (Critic-Actor) смотрят на ортографические виды, чинят семантические и физические ошибки, параллельно предлагают варианты - Отбор по новизне: из всех комбинаций остаётся компактный набор самых разных, но валидных - Базовая сцена: ~8 минут - Каждый дополнительный вариант: ~2 минуты Гитхаб #imageto3d #image2scene #image2layout

Mi-Ripple Восстановление картинок после итеративного ИИ-редактирования. Каждый цикл обработки оставляет на изображении сетчатую зернистость. Авторы разделили две разные деградации и удаляют каждую своим способом - Регулярные периодические артефакты (решетка) → избирательное спектральное подавление (notching) — фильтруется без искажения структуры - Зернистый мусор, вплетенный в контент → структурно-зависимое сглаживание - Когда фильтрация стерла бы легитимные детали → регенерация на очищенном референсе - 14 прогонов: остаточное отклонение 0.08-0.44 (единицы CIELAB lightness) — малозаметная деградация после чистки - В парном примере регенерации очищенный референс снижает плотность мусора на выходе на 45% - Подход «diagnosis-guided»: сначала понять, что за артефакт, потом выбрать способ Гитхаб Skill Демо #imagerestoration