Разбор Atlas и Marble от World Labs: в чем разница

Сегодня все пишут про Atlas от World Labs Типа глядитечо. Забывая про Marble, о котором мы тут вздыхали не так давно. Зачем World Labs выпустила Atlas, если у неё уже есть Marble: и тот, и другой умеют из картинок делать 3D. Atlas - это Marble 2.0 ?? Разбираемсо. А иначе зачем мы тут (а ну да, нейропрожарка и ген или видео) Разница принципиальная. Marble - это в первую очередь генератор готового 3D-мира. Atlas - модель, которая пытается понимать и продолжать сам мир. Marble получает текст, фото, видео или грубую 3D-заготовку и выдаёт постоянную сцену, которую можно исследовать, редактировать и экспортировать как Gaussian splat или mesh. Atlas не обязан заканчивать работу 3D-ассетом: он складывает всё увиденное в единое пространственное представление и дальше может по запросу восстановить 3D, показать мир с новой камеры, достроить то, чего на исходных кадрах не было, или сгенерировать целую последовательность новых наблюдений. Я тут придумал аналогию. Atlas - это брахман, безличная реальность. Мрамор - воплощение в реальном мире любого взгляда вокруг. Да, забыл таблетки с утра. World Labs прямо говорит, что Atlas станет основой будущих версий Marble. Marble генерирует 3D-мир. Atlas генерирует и поддерживает модель мира, из которой при необходимости можно получить 3D-мир. Технически Atlas - multimodal autoregressive diffusion transformer, обученный с нуля одновременно на тексте, изображениях, видео и 3D. На вход можно давать текст, одну или несколько картинок, видео, данные о положении камеры и пространстве - всё это объединяется в общий spatial context. На выходе модель умеет выдавать обычные изображения и 360°-панорамы, новые ракурсы существующей сцены, видео до минуты в 1440p с точно заданной траекторией камеры, depth и явное 3D-представление сцены. И можно задавать до 6 референсных изображений!! И он Мультимодальный... Отдельное направление - real-to-sim: по реальному видео Atlas восстанавливает пространство и может генерировать, что увидела бы движущаяся в нём камера или робот. То есть Marble отвечает на вопрос «сделай мне этот мир в 3D», а Atlas пытается отвечать на более общий вопрос: «вот всё, что я знаю об этом мире - что находится здесь, как он выглядит отсюда и что я увижу, если перемещусь туда?» Короче, это такой и швец, и жнец. Он конкурирует и видеогенами и генераторами миров. У Ранвея была похожая концепция о том, что представление о мире - прежде всего, а из него мы уже нагенерим что угодно. Ждем ответочку от Женечки - Genie-3 от Гугла. Хотя похоже им не до этого, там с Геной непонятки. Пока вейтлист. https://www.worldlabs.ai/blog/atlas https://www.worldlabs.ai/blog/marble-world-model @cgevent