Стартап World Labs, основанный «крёстной матерью AI» Фей-Фей Ли (ранее — проект ImageNet, Стэнфордская AI-лаборатория, Google), выпустил Atlas — первую мультимодальную world model, которая по нескольким фото или видео восстанавливает сцену в 3D и генерирует новые ракурсы, видео с управляемой камерой и симуляции для обучения роботов. Модель обучена с нуля одновременно на тексте, изображениях, видео и 3D-данных и объединяет их в единый «пространственный контекст», где каждый элемент имеет явную привязку к позиции камеры.

В отличие от предыдущего продукта World Labs — Marble, который сразу выдаёт готовый экспортируемый 3D-мир, — Atlas представляет собой более фундаментальную модель: она хранит и достраивает понимание пространства, а конкретный 3D-результат (point cloudi, Gaussian splat, видео, панорама) получает по запросу. Компания прямо заявила, что Atlas станет основой будущих версий Marble.

• Архитектура — multimodal autoregressive diffusion transformer, гибрид авторегрессии и кэширования от LLM с денойзингом диффузионных видеомоделей
• Модель может достраивать недостающие части сцены и генерировать 360°-панорамы, новые ракурсы существующей сцены, depth-карты и явное 3D-представление (point cloud, 3D Gaussian splatsi)
• На вход можно подать до 6 референсных изображений, текст, видео и данные о положении камеры; видео генерируется длительностью до 1 минуты в разрешении 1440p
• По заявлению World Labs, Atlas превосходит специализированные модели по контролю камеры (MiniMax, Gemini Omni Flash, FLUX) и по 3D-реконструкции (Pi3X, VGGT, Depth Anything 3)
• Для робототехники используется подход Real-to-Sim-to-Reali: Atlas строит по видео явную 3D-сцену с видом от бортовых камер робота, в которой можно симулировать движение и манипуляцию объектами для обучения
• Демонстрационный пример: сцена, снятая одним дублем сразу с трёх мобильных телефонов, была реконструирована моделью, после чего камерой можно было свободно «облетать» застывший момент и записывать новые кадры
• Соучредители World Labs помимо Фей-Фей Ли — Джастин Джонсон, Бен Милденхолл и Кристоф Ласснер; сама Ли ранее создала базу ImageNet и по аналогии с «крёстными отцами AI» Хинтоном, Лекуном и Бенжио (премия Тьюринга, 2018) получила прозвище «крёстная мать AI»