GAE: геометрический автоэнкодер для генерации 3D-сцен
Н@GreenNeuralRobotsAI-инженер
1 месTencent ARC и HKUST представили GAE — автоэнкодер для генерации 3D-миров, сжимающий признаки в компактный латент для вывода RGB, глубины и 3D-данных.
Новый подход к генерации 3D-контента позволяет создавать согласованные сцены с глубиной и геометрией из одного латентного представления.
- Упрощает создание 3D-контента, объединяя генерацию картинки и геометрии в одном процессе.
- Позволяет управлять камерой и 3D-структурой сцены через текстовые промпты или референсы.
- Модель с 1B параметров обеспечивает высокую компактность данных при сохранении пространственной связности.
GAE от Tencent ARC и HKUST
Геометрический автоэнкодер для генерации миров. Сжимает 3072-канальные геометрические признаки в компактные 128 каналов, из которых декодируются RGB, глубина, траектории камеры и облака точек. Не достраивает геометрию постфактум, а кладет еt внутрь генерируемого латента
• из одного латента - картинка, глубина, позы камеры и 3D одновременно
• управляемый flow matching - текст, референс-кадр и метрические лучи камеры
• обзорные сцены с перемещением камеры, indoor и outdoor
• text-to-image с генерацией 3D-геометрии по одному промпту
• 1B параметров
Латентное пространство работает как общий интерфейс между восприятием и генерацией - один латент, четыре связанных выхода
Гитхаб
HF
#world #vae
MAX
Кратко (AI)
Исследователи из Tencent ARC и HKUST представили геометрический автоэнкодер (GAE), который сжимает сложные геометрические признаки в компактный латентный код. Модель позволяет одновременно генерировать RGB-изображения, карты глубины, траектории камеры и облака точек, обеспечивая согласованность 3D-сцены.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖