EventEgoHands++: 3D-реконструкция рук с event-камер
Н@GreenNeuralRobotsAI-инженер
1 месИсследователи из Keio University представили EventEgoHands++ — метод 3D-реконструкции кистей рук от первого лица, работающий в темноте и при сильном смазе.
Технология позволяет отслеживать движения рук в условиях, где обычные камеры не справляются.
- Повышает надежность систем захвата движений в темноте и при высокой динамике.
- Позволяет точнее моделировать взаимодействие рук в AR/VR-системах.
- Снижает зависимость компьютерного зрения от идеальных условий освещения.
EventEgoHands++ (Keio University)
Реконструкция 3D-модели кистей рук по данным event-камеры с точки зрения первого лица. Обычные камеры слепнут в темноте и от смаза при движении, event-камера фиксирует только изменения яркости — работает и в почти полной темноте
- Отдельный Hand Detector: различает левую и правую руку по-отдельности с bounding-box и масками
- Adaptive Attention: динамически гейтирует внимание по результатам детекции — моделирует взаимодействие и взаимное расположение двух рук
- Работает при плохом освещении и сильном смазе где RGB и depth пасуют
- Определяет сколько рук в кадре: одна две или ни одной
Гитхаб
#hands #videoto3d
VK | MAX
Кратко (AI)
Исследователи из Keio University разработали метод EventEgoHands++ для 3D-реконструкции кистей рук от первого лица с использованием данных event-камер. Система эффективно работает в условиях низкой освещенности и при быстром движении, где обычные RGB-камеры теряют точность, используя адаптивное внимание для отслеживания взаимодействия двух рук.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖