Giro: экспериментальный пайплайн для создания VR-сплатов из одного фото
Н@GreenNeuralRobotsAI-инженер
3 недНовый пайплайн Giro превращает одно изображение в полноценный VR-сплат, используя MiniMax H3, SAM 3.1 и Qwen-Image-Edit для автоматизации процесса.
Технология позволяет значительно упростить создание 3D-контента для виртуальной реальности из обычных фотографий.
- Автоматизация процесса превращения 2D-фото в интерактивные 3D-сцены.
- Снижение порога входа для создания VR-контента за счет использования нейросетевых моделей.
- Оптимизация итоговых моделей под бюджетные VR-устройства, такие как Quest.
Giro
Экспериментальный пайплайн: одна картинка на входе, готовый VR-сплат на выходе. Фото превращается в орбитальное видео, потом в обрезанный сплат, по которому можно ходить в VR.
• Орбита вокруг объекта через MiniMax H3, фото как первый и последний кадр
• Свой гейт проверки: минимум 330° облета, ровное движение, замкнутый цикл
• Плохой сид перебрасывается автоматически, пропущенная дуга до-генерируется
• Маскирование объекта через SAM 3.1 до COLMAP
• Опциональная правка фона через Qwen-Image-Edit
• Обучение с прозрачным фоном, обрезка по visual hull
• Экспорт SPZ, SOG, PLY под VR, кнопка View in VR
• Веб-UI с живым прогрессом и причинами каждого решения
• Нужны две видеокарты по 24 ГБ, Linux
• Экспорт ориентирован на бюджет Quest
#image2gaussian #vr #gaussian
MAX
Кратко (AI)
Проект Giro представляет собой экспериментальный пайплайн, который генерирует 3D-сплаты для VR из одного входного изображения. Система автоматически создает орбитальное видео, выполняет сегментацию объекта и достраивает недостающие данные, обеспечивая экспорт в форматы, оптимизированные для гарнитур Quest.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖