Выход Marigold V2: улучшенная оценка глубины по одному изображению
Н@GreenNeuralRobotsAI-инженер
1 месПредставлена обновленная модель Marigold V2 для оценки глубины, нормалей и разложения изображений с использованием DiT и методов дистилляции.
Технология позволяет нейросетям точнее «видеть» объем и форму объектов на обычных фотографиях.
- Повышается качество обработки мелких деталей, таких как шерсть или листва.
- Модель стала универсальнее и лучше работает с разнообразными типами изображений.
- Инструмент полезен для 3D-реконструкции, дополненной реальности и графического дизайна.
Marigold V2
Оценка глубины по одному изображению, переработанная версия Marigold
Превращает DiT в инструмент оценки глубины. Выглядит многообещающе
- Глубина в один шаг: дистилляция из многошаговой flow-matching модели, с квантованием опционально
- Решает проблему размытия: шерсть, листья, тонкие края — то, что раньше размазывалось, теперь резкое
- Обобщается на непохожие данные
- Не только глубина: те же приемы дают #SOTA на оценке нормалей и разложении изображения на компоненты
- Два ключевых приtма: выравнивание внутренних представлений с семантикой + двухстадийный финтюн с Sinkhorn-лоссом
Гитхаб
HF
Демо
#image2depth #image2normals #image2pbr
Кратко (AI)
Представлена модель Marigold V2, которая использует архитектуру DiT для высокоточной оценки глубины по одному изображению. Новая версия решает проблему размытия мелких деталей и поддерживает оценку нормалей и разложение изображений благодаря методам дистилляции и двухстадийному обучению.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖