Вышла версия Lucy 2.5: реалтаймовый видеокомпозитинг
М@cgeventAI-инженер
1 месОбзор обновления видеогенератора Lucy 2.5, позволяющего редактировать видео, менять персонажей и фон в реальном времени с низкой задержкой.
Lucy 2.5 - реалтаймовый композ и редактирование видео
Про видеогенератор Lucy я уже писал (полезно перечитать, чтобы разобраться с Миражами)
Идея вроде не нова, мы уже это видели в разных Лайфпортретах, Инфинитоках и, конечно у Клинга в Motion Control.
Загружаете картинку персонажа (любая неведомая тварь тоже сгодицца), берете видео, где вы или более талантливый актер(персонаж) кривляется на камеру, и вот уже ваша картинка кривляется нужным образом. В 3Д это зовут ретаргетом.
Но!
Здесь вот это вот всё в РЕАЛЬНОМ ВРЕМЕНИ! То есть берете картинку, вебку и погнали стримить 24-30FPS и минимальной задержкой (пишут near-zero latency, но в реале с учетом интернета будет 1-2 сек я думаю).
Очень смешно, что в первых версиях не было цензуры - обязательно посмотрите этот пост, где Леха Борзых довел меня до истерики - ну и показал, что такое Lucy.
Сейчас вышла версия 2.5:
- Изменение стиля, замена фона, а также добавление, замена или удаление объектов в режиме реального времени на веб-камере или в трансляции во время воспроизведения
- Замена персонажей, изменение цвета и текстуры, а также добавление визуальных эффектов, таких как огненные шары, взрывы и дым
- Замена персонажей по эталонному изображению и виртуальная примерка с интерактивной задержкой
- Более точная изоляция редактируемых объектов и точное соблюдение указаний при работе с мелкими, смещенными относительно центра и нечеловеческими объектами
В общем реалтаймовый композ.
Но вы же понимаете, что это реалтайм - поэтому не ждите продакшен качества.
Пробуем тут:
https://lucy.decart.ai/
И тут:
https://fal.ai/models/decart/lucy-2-5/realtime
@cgevent
Кратко (AI)
Вышло обновление видеогенератора Lucy до версии 2.5, которое позволяет выполнять реалтаймовый композитинг, замену персонажей, фона и добавление визуальных эффектов. Инструмент работает с веб-камерой или трансляциями, обеспечивая низкую задержку при обработке видео.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖