Marigold V2
Оценка глубины по одному изображению, переработанная версия
Marigold
Превращает DiT в инструмент оценки глубины. Выглядит многообещающе
- Глубина в один шаг: дистилляция из многошаговой flow-matching модели, с квантованием опционально
- Решает проблему размытия: шерсть, листья, тонкие края — то, что раньше размазывалось, теперь резкое
- Обобщается на непохожие данные
- Не только глубина: те же приемы дают #SOTA на оценке нормалей и разложении изображения на компоненты
- Два ключевых приtма: выравнивание внутренних представлений с семантикой + двухстадийный финтюн с Sinkhorn-лоссом
Гитхаб
HF
Демо
#image2depth #image2normals #image2pbr