JoyAI-Video-Edit: 16B-модель редактирует видео в реальном времени, выдавая 30 FPS в 720p на одной B200 Команда Joy Future Academy представила JoyAI-Video-Edit — открытую авторегрессионную диффузионную модель на 16B параметров для редактирования видео в реальном времени. Модель обрабатывает кадры по текстовому промпту по мере их поступления, без доступа к будущим кадрам и не зная длину ролика. Полный сквозной пайплайн выдаёт 30.19 FPS в разрешении 720×1280 на одной Nvidia B200. JoyAI-Video-Edit умеет менять фон, стиль (акварель, масло, мультфильм), добавлять, удалять и заменять объекты и людей в кадре, менять одежду и внешность, изменять движения персонажей и объектов. Отдельно поддерживается редактирование по референсной картинке, когда одежда или предмет с фотографии переносится на человека в видео. Всё это работает поверх исходного ролика, оставляя без изменений движения, композицию и те области видеопотока, которые менять не просили. Архитектура модели состоит из энкодера условий на базе MLLM, каузального видео-VAE и мультимодального диффузионного трансформера. Итеративный денойзинг сжат до двух шагов методом Source-Anchored DMD, который привязывает учителя к синхронному фрагменту исходного видео и не даёт картинке отходить от оригинала на длинных потоках. Результаты: на бенчмарке OpenVE-Bench модель набирает 3.60 балла против 2.62 у SANA-Streaming и 1.87 у XMax-X2.0, что сопоставимо по качеству с офлайн-редакторами Kling-3.0 Omni (3.64) и Bernini-R (3.72). На минутных видео из LongV2VBench — 3.30 против 1.71 у ближайшего конкурента. В попарной человеческой оценке JoyAI-Video-Edit выигрывает у потоковых редакторов в 81–90% случаев. Код инференса выложен на GitHub, веса - на Hugging Face под лицензией Apache 2.0. #Stateoftheart

Lucy 2.5 - реалтаймовый композ и редактирование видео Про видеогенератор Lucy я уже писал (полезно перечитать, чтобы разобраться с Миражами) Идея вроде не нова, мы уже это видели в разных Лайфпортретах, Инфинитоках и, конечно у Клинга в Motion Control. Загружаете картинку персонажа (любая неведомая тварь тоже сгодицца), берете видео, где вы или более талантливый актер(персонаж) кривляется на камеру, и вот уже ваша картинка кривляется нужным образом. В 3Д это зовут ретаргетом. Но! Здесь вот это вот всё в РЕАЛЬНОМ ВРЕМЕНИ! То есть берете картинку, вебку и погнали стримить 24-30FPS и минимальной задержкой (пишут near-zero latency, но в реале с учетом интернета будет 1-2 сек я думаю). Очень смешно, что в первых версиях не было цензуры - обязательно посмотрите этот пост, где Леха Борзых довел меня до истерики - ну и показал, что такое Lucy. Сейчас вышла версия 2.5: - Изменение стиля, замена фона, а также добавление, замена или удаление объектов в режиме реального времени на веб-камере или в трансляции во время воспроизведения - Замена персонажей, изменение цвета и текстуры, а также добавление визуальных эффектов, таких как огненные шары, взрывы и дым - Замена персонажей по эталонному изображению и виртуальная примерка с интерактивной задержкой - Более точная изоляция редактируемых объектов и точное соблюдение указаний при работе с мелкими, смещенными относительно центра и нечеловеческими объектами В общем реалтаймовый композ. Но вы же понимаете, что это реалтайм - поэтому не ждите продакшен качества. Пробуем тут: https://lucy.decart.ai/ И тут: https://fal.ai/models/decart/lucy-2-5/realtime @cgevent

ARDY Модель от NVIDIA генерирует движения человека в интерактивном режиме. Плавная, управляемая анимация без жёстких шаблонов • непрерывная генерация движений в рилтайме на протяжении минут • интерактивное управление через текстовые подсказки, клавиши • гибкие констрейны (траектории, ключевые кадры, позиции суставов) • гибридное представление данных (явные глобальные параметры + компактное скрытое представление движений тела) • работа с долгосрочными целями и сложными комбинациями ограничений • адаптация к изменяющимся условиям и целям на лету Можно запромптить анимация и потом влиять на нее на лету Гитхаб HF Демо #humananimation #animation #realtime #interactive