Puffin-World: мультимодальная модель для 3D-реконструкции
Н@GreenNeuralRobotsAI-инженер
1 месОбзор Puffin-World — модели, которая генерирует 3D-сцены, физику и геометрию на основе одного изображения и траектории камеры.
Технология позволяет создавать полноценные 3D-миры из одной фотографии, что упрощает работу с визуальным контентом.
- Позволяет генерировать новые ракурсы сцены без необходимости сложной съемки.
- Интеграция физики в модель предотвращает искажения и «плавание» объектов при движении камеры.
- Ускоряет процесс создания 3D-контента для разработчиков и дизайнеров.
Puffin-World
Мультимодальная модель мира
Видит, симулирует и строит 3D-мир в одном фреймворке. По одной картинке + траектории камеры генерирует новые кадры с глубиной и собирает их в 3D-реконструкцию. Физика, геометрия и внешний вид моделируются вместе а не по отдельности
- Одно фото → понимание камеры и мира: ролл, питч, поле зрения, направление гравитации
- Камера-контролируемая генерация: задаtшь траекторию — получаешь новые ракурсы
- RGB-D генерация по траектории и прямая сборка в 3D облако точек
- Физика как часть модели: гравитация и широта привязывают сгенерированные виды к реальному миру - кадры не плавают за горизонт
- модель может исследовать сцену и самокалиброваться
- Пока только статичные сцены
Гитхаб
HF
#world #multimodal #simulation
Кратко (AI)
Puffin-World — это мультимодальная модель, способная создавать 3D-реконструкции сцен на основе одного изображения и заданной траектории камеры. Система объединяет генерацию физики, геометрии и визуальных данных, обеспечивая стабильность кадров и самокалибровку, хотя на текущем этапе работает только со статичными сценами.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖