← к умной ленте

Microsoft представила LensErase — модель для удаления объектов, текста и водяных знаков с изображений

Microsoft выпустила (почти в опенсорсе — код пока не опубликован) базовую модель LensErasei, которая по паре «изображение + маска» убирает с картинки что угодно: объекты, текст, водяные знаки, логотипы, а также их тени и отражения. Модель работает за один проход, без текстового промпта, и справляется со сложными случаями вроде слоистых постеров и нескольких объектов одновременно.

Значимость в том, что LensErase обучена специально распознавать «побочные эффекты» удаляемого объекта — тени, отражения, следы его присутствия, выходящие за границы выделения, — и при этом не трогает остальную часть кадра благодаря отдельному механизму восстановления TraceFusioni.

101,07 млнобучающих примеров изображение-маска-результат
10 млнпримеров с водяными знаками в датасете
5категорий задач удаления
  • Схема работы: на входе изображение и маска выделения (нарисованная вручную или через SAM 2i), текстовый промпт не требуется, на выходе — чистый кадр
  • Модель делит задачи на пять категорий: общее удаление, водяные знаки, большие маски, визуальный текст, постеры
  • Для обучения собрано 101,07 млн примеров вида «исходник, маска, чистый результат», из них почти 10 млн — с водяными знаками; отдельно собраны наборы для текста, постеров и больших областей удаления
  • При обучении удалению вотермарков использовались полупрозрачные наложения, повторяющиеся знаки, диагональные надписи через весь кадр, полосы и мелкие отметки в углах
  • Содержимое выделенной области модель показывает целиком — сквозь полупрозрачный вотермарк видны детали фона для восстановления, а по виду удаляемого объекта модель определяет, какие тени и отражения ему принадлежат
  • За сохранение остальной картинки отвечает механизм TraceFusion: он определяет фактическую зону изменений и восстанавливает исходное содержимое за её пределами, чтобы удаление логотипа не превращалось в переделку всего кадра
  • LensErase сравнивали с коммерческими GPT-Image2.5-Sunburst и Flux2-Erase, а также с открытыми OSOR, OmniPaint, ObjectClear и другими моделями; код модели пока не опубликован («Код ждем»)
Что дальше

Код и веса модели LensErase пока не выпущены («Код ждем»), поэтому следующий шаг — публикация опенсорс-релиза, которая позволит протестировать модель за пределами примеров из технической статьи Microsoft.

Здесь появится ссылка, когда это произойдёт.

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖