Tsinghua University и Shengshu Technology представили две новые видеомодели — Vidu S2-Avatar и Vidu S2-Editing, позволяющие вести видеозвонок или стрим с цифровым аватаром и редактировать видеопоток в реальном времени. Разрешение выросло с 540p у прежней версии Vidu S1 до 720p при 25–42 FPS.

S2-Avatar по одной фотографии и аудиодорожке создаёт живого аватара, который реагирует на голосовые и текстовые команды, а S2-Editing на лету перекрашивает стиль, меняет одежду, персонажа или фон видеопотока. Обе модели умеют отдавать результат стереопарой для VR — это заявляется как шаг к интерактивному AI-видео для стриминга и виртуальной реальности.

• S2-Avatar: аватар произносит поданную аудиодорожку, меняет выражение лица, переводит взгляд, жестикулирует и выполняет команды вплоть до танца; поток не ограничен по длине, а новую опорную картинку можно подать прямо посреди трансляции — показали кружку, персонаж берёт её в руку; показали пляж — герой оказывается на пляже
• S2-Editing редактирует видеопоток по текстовой инструкции и опорной картинке: перекрашивает в другой стиль, переодевает человека, заменяет персонажа или фон, при этом движение и тайминг исходника сохраняются кадр в кадр; работает и с видом через камеру VR-шлема
• На StreamAV-Benchi модель показала лучший результат по всем девяти метрикам; на тесте виртуальной примерки ViViDi метрика VFIDi упала до 9.95 против 19.51 у прежнего лидера
• В слепых парных сравнениях оценщики предпочли Vidu S2-Avatar конкурентам в 85.7–100% случаев
• Генерация Vidu S2-Avatar в реалтайме стоит примерно 45 центов за минуту или $27 за час непрерывной трансляции
• Клонирование голоса стоит $4.5 за голос, первые 10 голосов бесплатно; новым пользователям при регистрации начисляются пробные кредиты
• Модели доступны в веб-приложении и по API