Microsoft представила модель LensErase для удаления объектов и вотермарок

Microsoft  бахнул в опенсорс! (ну почти) LensErase, который  стирает вотермарки, логотипы, надписи и объекты вместе с их тенями Что умеет модель: Удалять вотермарки и логотипы. В обучении использовали полупрозрачные наложения, повторяющиеся знаки, диагональные надписи через весь кадр, полосы и небольшие отметки в углах. Убирать объекты. Людей, животных, мебель и другие выбранные элементы сцены. Предусмотрены как мелкие детали, так и крупные объекты, закрывающие значительную часть изображения. Удалять несколько жертв одновременно. Можно отметить несколько объектов в разных частях кадра. Убирать связанные тени и отражения. Модель обучали распознавать следы присутствия объекта, в том числе выходящие за границы выделения. Стирать текст. Выбранные надписи можно удалять, сохраняя поверхность под ними и соседние элементы. Вот это нам надо! Редактировать готовые постеры. Убирать отдельные заголовки, логотипы, плашки и другие элементы композиции, достраивая открывшиеся участки. Схемая: изображение + маска выделения -> результат. Текстовый промпт не требуется. Авторы показывают примеры с нарисованными вручную масками и выделениями через SAM 2.  Описание модели. Шопоткапотом? Для обучения собрали 101,07 млн примеров формата "исходник, маска, чистый результат". Среди них почти 10 млн примеров с вотермарками, а также отдельные наборы для текста, постеров и больших областей удаления. Интересная деталь: содержимое выделенной области модели показывают целиком. Сквозь полупрозрачный вотермарк остаются видны детали фона - их можно использовать для восстановления. А внешний вид удаляемого объекта помогает понять, какие тени и отражения ему принадлежат.  Техническая статья. За сохранение остальной картинки отвечает TraceFusion: механизм определяет фактическую область изменений и восстанавливает исходное содержимое за её пределами. Чтобы просьба убрать логотип не превращалась в незапланированный ремонт всего кадра. Ограничения. Закрытые участки модель реконструирует, поэтому точное возвращение утраченных деталей не гарантировано. Авторы также отмечают сложности с подготовкой качественных обучающих данных для сверхвысоких разрешений, включая 4K. Хдевеса: на момент проверки в репозитории стоит "Code coming soon".  Ждем код. Примеры на странице проекта · GitHub @cgevent