Yandex Research совместно с преподавателями ШАД опубликовали материалы курса «Генеративные модели в компьютерном зрении» — Visual GenAI. Курс посвящён современным подходам к генерации изображений, видео и 3D-контента, с упором на диффузионные моделиi.
Материалы рассчитаны на тех, кто уже знает базу генеративных моделей и хочет разобраться, что сейчас происходит в research и R&D по этому направлению — вплотную к тому, что применяется в индустрии.
Вышла опенсорсная модель SAM2Matting — генерализованное решение для матирования (matting) изображений и видео, построенное на основе SAM2 и SAM3. Авторы называют её ответом на коммерческий инструмент CorridorKeyi от студии Corridor Crew.
В отличие от обычной сегментации, матирование сохраняет информацию о мягких и полупрозрачных краях объекта (например, волосы, дым, стекло), что критично для ротоскопинга и композитинга в видеопродукции.
Исследователи из Huawei и Мюнхенского университета анонсировали проект FaceAnything, предназначенный для 4D-реконструкции лиц на основе обычных видеозаписей. Технология использует совместное предсказание глубины и канонических координат, что позволяет извлекать облака точек без применения специализированного оборудования. Несмотря на наличие артефактов, ограничивающих точность 3D-моделирования, инструмент может быть эффективно использован для создания визуальных эффектов в композе.
Это всё на сейчас.