TrackEverything: новый 3D-трекер точек от CMU и Meta

CMU и Meta представили TrackEverything — 3D-трекер точек для длинных видео, работающий с 1000+ кадрами и учитывающий движение камеры.

Новый метод позволяет точнее анализировать движение объектов в видео, что важно для робототехники и дополненной реальности.

Позволяет отслеживать объекты на протяжении очень длинных видео (более 1000 кадров).
Корректно разделяет движение камеры и движение объектов в 3D-пространстве.
Автоматически классифицирует объекты на статические и динамические.

TrackEverything от CMU и Meta (запрещено в РФ) Плотный 3D-трекер точек на длинных видео. Отслеживает все видимые точки всех кадров на горизонте 1000+ кадров, представляя видео как постоянные 3D-трассы в мировых координатах • все точки, а не только с первого кадра - трек начинается, как только точка появилась • 3D и 2D трассы одновременно, с учётом движения камеры • классификация статика/динамика покадрово по окнам • разбиение на дубликаты в 3D-представлении убирает двойные соответствия Метод через дедупликацию 3D-сцен-репрезентаций - в отличие от предшественников с ретроспективой на первый кадр. Слабые места честно называются: быстрые смещения и текстуры с повторами ломают соответствие Гитхаб ждем #tracking MAX

Кратко (AI)

Исследователи из CMU и Meta представили метод TrackEverything для отслеживания точек в длинных видеопоследовательностях. Система строит 3D-трассы в мировых координатах, учитывая движение камеры и динамически добавляя новые точки по мере их появления в кадре.

TrackEverything: новый 3D-трекер точек от CMU и Meta

Кратко (AI)

Обсуждение