WorldCrafter: видеомодель с 3D-памятью

Представлена WorldCrafter — видеомодель, способная запоминать сцены и восстанавливать их при возврате камеры, обеспечивая консистентность пространства.

Это важный шаг к созданию реалистичных виртуальных миров, где объекты не исчезают, если на них не смотреть.

Решает проблему «забывчивости» нейросетей при генерации видео.
Позволяет создавать более стабильные и логичные 3D-пространства из текста или изображений.
Улучшает возможности для интерактивного исследования сгенерированных миров.

WorldCrafter Видеомодель мира с неявной 3D-памятью. Видеогенераторы теряют мир, когда камера отворачивается - WorldCrafter запоминает сцену и восстанавливает ее при возврате • исследование мира с одной картинки • генерация мира из текста + управление камерой • возврат к знакомым ракурсам • синтез новых ракурсов из нескольких изображений • реалтайм-стриминг • минуты исследования сцен, статика и динамика Доказательство: из сгенерированных видео реконструируют point clouds - геометрия и позы камер сходятся при повторных проходах Гитхаб HF #world #t2w #i2w MAX

Кратко (AI)

WorldCrafter — это новая видеомодель, которая решает проблему потери консистентности сцены при движении камеры. В отличие от обычных генераторов, она обладает «памятью», позволяя возвращаться к ранее увиденным объектам и сохранять геометрию пространства, что подтверждается реконструкцией облаков точек.

WorldCrafter: видеомодель с 3D-памятью

Кратко (AI)

Обсуждение