4DAnyone: генерация 4D-моделей человека из монокулярного видео

Инструмент для создания 4D-моделей человека в движении по обычному видео без использования рига или калибровки камеры.

Технология упрощает создание реалистичных 3D-аватаров, позволяя генерировать их из обычных видео без сложного оборудования.

Позволяет создавать 4D-модели без профессиональных студий и калибровки камер.
Использует скелетные данные вместо карт глубины для более точной геометрии.
Оптимизирована для работы с современными методами ускорения вычислений.

4DAnyone Создает 4D-модель человека в движении по монокулярному видео. Без рига, калибровки и штатива. Генерирует ракурсы, которых не сняла камера, и собирает их в 4D гауссианы - Работает на живых кадрах без калибровки камеры: танцы, спорт, сцена, речь, мода - Reference Context Packing сжимает растущий референсный контекст в фиксированный бюджет - Target Context Routing обменивается информацией между группами ракурсов — нет структурного дрейфа - Скелетная 3D-условие вместо хрупких depth-карт — устойчивая геометрия В основе Wan2.2 VAE + umt5-xxl энкодер, детекция через YOLO/ViTPose/GVHMR Работает с FlashAttention-3 или SageAttention Гитхаб #4d #gaussian #videoto4d #HMR VK | MAX

Кратко (AI)

Проект 4DAnyone позволяет создавать 4D-модели людей в движении на основе обычных видеозаписей, снятых с одной камеры. Система использует 4D-гауссианы и специализированные архитектуры для обеспечения стабильной геометрии без необходимости предварительной калибровки или использования ригов.

4DAnyone: генерация 4D-моделей человека из монокулярного видео

Кратко (AI)

Обсуждение