FlowHMR: физически корректный захват движения из видео
Н@GreenNeuralRobotsAI-инженер
3 недFlowHMR восстанавливает физически правдоподобное 3D-движение человека из обычного монокулярного видео для использования в робототехнике и анимации.
Технология упрощает перенос движений реальных людей на роботов и цифровых персонажей.
- Позволяет использовать обычные видео вместо дорогостоящих систем захвата движения.
- Обеспечивает физическую корректность движений, что критично для управления роботами.
- Ускоряет процесс создания анимации и обучения робототехнических систем.
FlowHMR
Физически правдоподобный мокап из обычного видео. Из монокулярного ролика восстанавливает глобальное 3D-движение человека, которое физический контроллер реально может повторить в симуляции.
• 0.46B
• Глобальный 3D-motion из одиночного видео
• Движение физически корректно — симулируемый персонаж может его отследить
• Flow matching + physics-based GRPO
• Демо в 3D-вьювере прямо на сайте
Как применяют
• Робототехника: ретаргет на Unitree G1, трекинг в симуляции через SONIC
• Анимация: реконструкция сцены и ретаргет через GPT-6 Astra
• Text-to-motion: генерация видео через MiniMax H3, затем захват движения FlowHMR
Гитхаб
HF
#mocap
MAX
Кратко (AI)
FlowHMR — это новая технология, позволяющая извлекать физически корректные 3D-данные о движении человека из обычных видеороликов. Полученные данные можно напрямую использовать для управления роботами, такими как Unitree G1, или для анимации персонажей в симуляциях.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖