ProxyPose: трекинг 6-DoF позы на базе Wan2.1-T2V-14B
Н@GreenNeuralRobotsAI-инженер
1 месОбзор ProxyPose — метода отслеживания 6-DoF позы по монокулярному видео с использованием LoRA для модели Wan2.1-T2V-14B.
ProxyPose
Трекер. Лора к Wan2.1-T2V-14B
Отслеживает 6-DoF позу по монокулярному видео. Решает проблему точного трекинга при слабой текстуре, отражениях, перекрытиях.
• берет один пиксель-запрос - выдает траекторию 6-DoF
• видео-в-видео трансформация через VAE и LoRA-дообученную видеомодель
• геометрия без обучения: контурное сопоставление + PnP
• тянет трекинг для лиц и камер без доп. тренировки
• работает с event-видео и SPAD-сенсорами
Использует VAE в латентном пространстве, шум по токенам для прокси-видео. Стабилен в сложных сценах, но может дрейфовать на быстрых/текстурно бедных объектах.
Гитхаб
HF
#tracking #6dof #v2v #video2camera
Кратко (AI)
Представлен метод ProxyPose, использующий дообученную через LoRA модель Wan2.1-T2V-14B для отслеживания 6-DoF позы объектов по монокулярному видео. Решение эффективно справляется с перекрытиями и отсутствием текстур, объединяя контурное сопоставление с геометрическими методами PnP.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖