Alaya Lab и Токийский университет представили открытый фреймворк WorldSculpt, который превращает фотографии или видео насыщенной предметами сцены (комнаты, улицы) в десятки и сотни отдельных 3D-моделей — каждый объект получает свою собственную сетку (мэш), а не сливается в общую геометрию.

Это важно для игр (сборка уровней из реальных интерьеров), AR (система понимает, что перед ней стол, а не безымянная поверхность), дизайна интерьеров (готовый набор ассетов вместо цельной болванки) и робототехники (объект в симуляторе — отдельное тело с массой и границами для отработки захвата).

• WorldSculpt — надстройка над моделью Pixal3Di: веса генератора одиночных объектов заморожены, обучены только LoRA-адаптеры и слои для просмотра предмета с нескольких ракурсов
• Скрытые на одном кадре части объекта модель не выдумывает, а собирает из наблюдений на других кадрах
• Пайплайн требует: траекторию камеры (восстанавливает COLMAP или VGGT), маски объектов (даёт SAM3), грубые 3D-боксы — и только затем запускается WorldSculpt
• Фреймворк работает не только с фото, но и с облаками точек (3DGSi) от других генераторов, превращая их в нормальные сетки
• Модель тренируется на отдельных объектах, но применяется к целым сценам без дополнительной оптимизации
• Авторы собрали тестовый набор UE-MeshyScene, самая плотная сцена содержит 701 объект
• Есть интерактивный просмотрщик, код опубликован на Github, веса — на HuggingFace