Исследователи из Zhejiang University, Robbyant, Ant Group и HKUST представили открытый фреймворк 4DAnyone, который строит объёмную 4D-модель движущегося человека по обычному видео с одной камеры — без рига, калибровки и штатива. Раньше для такой реконструкции требовалась студия с десятками синхронных камер.

Фреймворк генерирует 16 согласованных между собой ракурсов, которых камера не снимала, и собирает их в сцену формата 4D Gaussian Splattingi — объёмное представление, меняющееся во времени. Готовую модель можно осматривать с любой точки в VR, вставлять в игры, AR-сцены или использовать как обучающие данные для роботов.

Полный разбор →

Исследователи выпустили фреймворк Lift4Di, который восстанавливает полную 4D-модель динамичного объекта — геометрию, текстуры и нежёсткие деформации во времени — используя только обычное монокулярное видео с одной камеры. Система достраивает даже ракурсы, которые не были видны в исходной съёмке, реконструируя полный 360° обзор объекта.

Код и статья опубликованы в открытом доступе, есть интерактивная демо-страница проекта, где можно самостоятельно покрутить полученную 3D/4D-модель. Работа тестировалась на GPU NVIDIA A100i.

ВыводLift4D реконструирует не только геометрию и текстуры, но и нежёсткие деформации движущихся объектов — то есть отслеживает, как форма объекта меняется во времени

Полный разбор →