F2G-Pose оценивает позу, размер и форму объектов по RGB-D

F2G-Pose по одному снимку RGB-D предсказывает 6D-положение, реальный размер и достроенное облако точек объекта.

Система может помочь роботам распознавать положение и размер предметов, в том числе стеклянных и зеркальных.

Для оценки категории не нужна отдельная модель на каждый предмет.
По видимой части система предсказывает также скрытую геометрию объекта.
Для полной модели заявлена скорость 23,7 кадра в секунду.

F2G-Pose Поза, размер и форма объекта по одному снимку RGB-D с готовой маской. За один проход выдает 6D-положение, реальный масштаб и достроенное облако точек в системе координат камеры Внутри замороженный RADIO дает плотные признаки, глубина и маска привязывают их к точкам сцены. Локальную геометрию собирает DGCNN, контекст объекта добавляет трансформер со смесью экспертов, дальше три головы считают позу, размер и форму • Оценка положения категории без отдельной модели под каждый предмет • Метрический размер, то есть понятно, насколько объект большой на самом деле • Достройка формы: невидимая с камеры часть тоже предсказывается • Работа на прозрачных и блестящих предметах: стекло, зеркальная посуда • Годится для роботов: захват и установка по предсказанной позе • 28 кадров в секунду только по позе, 23,7 с полной моделью github.com/jrryzh/F2G-Pose huggingface.co/J3rr1/F2G-Pose #rgbd2pose #tracking #pose MAX

Кратко (AI)

F2G-Pose по одному снимку RGB-D и готовой маске предсказывает 6D-положение объекта, его реальный масштаб и достроенное облако точек. Авторы заявляют работу с прозрачными и блестящими предметами, а также скорость 28 кадров в секунду для оценки позы и 23,7 кадра в секунду для полной модели.

F2G-Pose оценивает позу, размер и форму объектов по RGB-D

Кратко (AI)

Обсуждение