Puffin-World
Мультимодальная модель мира
Видит, симулирует и строит 3D-мир в одном фреймворке. По одной картинке + траектории камеры генерирует новые кадры с глубиной и собирает их в 3D-реконструкцию. Физика, геометрия и внешний вид моделируются вместе а не по отдельности
- Одно фото → понимание камеры и мира: ролл, питч, поле зрения, направление гравитации
- Камера-контролируемая генерация: задаtшь траекторию — получаешь новые ракурсы
- RGB-D генерация по траектории и прямая сборка в 3D облако точек
- Физика как часть модели: гравитация и широта привязывают сгенерированные виды к реальному миру - кадры не плавают за горизонт
- модель может исследовать сцену и самокалиброваться
- Пока только статичные сцены
Гитхаб
HF
#world #multimodal #simulation