Ropedia представила Holi-World — пайплайн для 3D- и 4D-данных из видео
Н@GreenNeuralRobotsAI-инженер
3 днHoli-World превращает записи со стереокамеры и IMU в размеченные 3D- и 4D-данные и обучает на них модель на 4 млрд параметров.
Автоматическая подготовка пространственных данных может упростить обучение моделей, понимающих объекты и их движение в видео.
- Пайплайн автоматически создает 3D-разметку объектов и 4D-треки их движения.
- В датасет входят около 80 тысяч пар вопрос-ответ, связанных с кадрами и объектами.
- Для контроля разметки предусмотрена человеческая проверка.
Holi-World
Пайплайн от Ropedia превращает съемку от первого лица в 3D и 4D данные мира без ручной разметки. Записи со стереокамеры и IMU проходят реконструкцию и авторазметку, на выходе датасет и обученная на нем модель.
• Статичные объекты как 3D-боксы в единой системе координат
• Динамика как 4D-треки, предмет держит свой ID даже вне кадра
• Около 80 тысяч пар вопрос-ответ с привязкой к кадрам и объектам
• 30 типов вопросов, включая ловушки с неверными вариантами
• Человеческая проверка как второй контур контроля
• Модель на 4 млрд параметров
Авторы отдельно подчеркивают, что конкуренты на тестах получают подсказки, а их пайплайн нет.
huggingface.co/ropedia-ai/holiworld-vl
#videoto3d #videoto4d
MAX
Кратко (AI)
Ropedia представила Holi-World — пайплайн, который преобразует съемку от первого лица со стереокамеры и IMU в размеченные 3D- и 4D-данные. На их основе обучается модель на 4 млрд параметров; авторы также отмечают, что их пайплайн не дает тестовых подсказок, которыми, по их словам, пользуются конкуренты.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖