Microsoft выпустила (почти в опенсорсе — код пока не опубликован) базовую модель LensErasei, которая по паре «изображение + маска» убирает с картинки что угодно: объекты, текст, водяные знаки, логотипы, а также их тени и отражения. Модель работает за один проход, без текстового промпта, и справляется со сложными случаями вроде слоистых постеров и нескольких объектов одновременно.
Значимость в том, что LensErase обучена специально распознавать «побочные эффекты» удаляемого объекта — тени, отражения, следы его присутствия, выходящие за границы выделения, — и при этом не трогает остальную часть кадра благодаря отдельному механизму восстановления TraceFusioni.
- Схема работы: на входе изображение и маска выделения (нарисованная вручную или через SAM 2i), текстовый промпт не требуется, на выходе — чистый кадр
- Модель делит задачи на пять категорий: общее удаление, водяные знаки, большие маски, визуальный текст, постеры
- Для обучения собрано 101,07 млн примеров вида «исходник, маска, чистый результат», из них почти 10 млн — с водяными знаками; отдельно собраны наборы для текста, постеров и больших областей удаления
- При обучении удалению вотермарков использовались полупрозрачные наложения, повторяющиеся знаки, диагональные надписи через весь кадр, полосы и мелкие отметки в углах
- Содержимое выделенной области модель показывает целиком — сквозь полупрозрачный вотермарк видны детали фона для восстановления, а по виду удаляемого объекта модель определяет, какие тени и отражения ему принадлежат
- За сохранение остальной картинки отвечает механизм TraceFusion: он определяет фактическую зону изменений и восстанавливает исходное содержимое за её пределами, чтобы удаление логотипа не превращалось в переделку всего кадра
- LensErase сравнивали с коммерческими GPT-Image2.5-Sunburst и Flux2-Erase, а также с открытыми OSOR, OmniPaint, ObjectClear и другими моделями; код модели пока не опубликован («Код ждем»)
Код и веса модели LensErase пока не выпущены («Код ждем»), поэтому следующий шаг — публикация опенсорс-релиза, которая позволит протестировать модель за пределами примеров из технической статьи Microsoft.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖