NVIDIA представила FoundationStereo и FoundationPose для 3D-перцепции
Н@GreenNeuralRobotsAI-инженер
1 месNVIDIA выпустила две открытые модели для 3D-зрения: FoundationStereo для оценки глубины и FoundationPose для определения 6-DoF позы объектов.
Эти модели упрощают внедрение 3D-зрения в роботов, позволяя им понимать глубину и положение предметов без сложного дообучения.
- FoundationStereo позволяет роботам оценивать расстояние до объектов в новых условиях без предварительной настройки.
- FoundationPose дает возможность определять ориентацию предметов в пространстве, имея только их CAD-модель.
- Поддержка TensorRT обеспечивает работу моделей на широком спектре оборудования NVIDIA, от компактных Jetson до серверных H100.
FoundationStereo и FoundationPose (NVIDIA)
Две открытые модели для 3D-перцепции из систем Vision AI
FoundationStereo
Стерео-глубина без дообучения. Пара RGB-картинок со стереокамеры на входе, точная карта диспаритета на выходе.
• Zero-shot стерео-матчинг на новых сценах
• Для робототехники промышленности и умных пространств
• ONNX и TensorRT
• Работает от Jetson до H100
Слабые места: прозрачные объекты пересвет и плохое освещение.
FoundationPose
6-DoF поза объектов без обучения. CAD-модель -> положение и ориентация объекта на RGBD-кадре плюс трекинг по видео
• Zero-shot на новых объектах нужен только CAD
• Оценка позы и отслеживание на видео
• Обучена на synthetic-данных Objaverse и GSO
• Средний скор 83.3 на BOP-бенчмарках
• TensorRT работает от Orin Nano до H100
#stereo2depth #image2depth #image2pose
Кратко (AI)
NVIDIA представила две новые модели для задач 3D-перцепции: FoundationStereo для оценки глубины по стереопарам и FoundationPose для определения пространственного положения объектов по CAD-моделям. Обе модели работают в режиме zero-shot, поддерживают оптимизацию через TensorRT и предназначены для использования в робототехнике и системах компьютерного зрения.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖