Реализация 3D pose estimation с использованием двух камер

Это сильно менее залипательно, чем предыдущий пост с mediapipe, но гораздо сложнее технически – эту штуку я в прошлой жизни так и не осилил сделать в разумные сроки Короче, проблема mediapipe в том, что эта штука детектит части нашего тела чисто по одной камере. И даже в глубину умеет. Но очень посредственно – как человек с одним глазом – как бы по общей геометрии примерно понятно, что ближе, что дальше, но полноценное определение расстояний работает только с двумя глазами

Если прям душнить, то у нас есть биологический механизм, который позволяет по-честному определять расстояния даже одним глазом, просто он изначально не для этого нужен и работает достаточно медленно и не точно. Респект тому, кто догадается какой

Так вот, на видео слева внизу как раз это заметно – при повороте кистей или сжатии кулака рука почему-то куда-то уезжает. Так никакую систему проверки корректности движений для качалок не построишь (когда-то в ковидные годы я с этой идеей даже подавался в стартап-акселератор) Нужна вторая камера А как только появляется вторая камера, сразу нужно учится их калибровать – определять положение относительно друг друга. А потом еще химичить отображение самой сцены – просто проекциями не решается, т.к. сцена – не линия, и на каждой камере имеет свою геометрию. И понеслаааась Короче, в открытом доступе ничего нормально работающего я не нашел, тем более в браузере. Но теперь есть opus-5.5 Спустя пару промптов из серии "...триангуляция...блаблабла...автоматическая рекалибровка...блаблабла...межзрачковое расстояние как референс...блаблабла...протести на открытых датасетах...блаблабла...не дергай меня, сделай сам..." ... я получаю офигенный результат (справа внизу на видео): стабильная сцена, честное расстояние в сантиметрах и устойчивость к сдвигу камер. И все это просто по вебке макбука + iphone (в continuity режиме). Минут 5 наверное сидел довольный, махал руками перед экраном Ноль идей где и как это можно использовать, но зато закрыл свой старый гештальт по настоящему трехмерному pose estimation 🤷‍♂️