Alibaba представила Wan Animate 2 — новую версию модели для переноса движения на персонажей (motion transfer). Главное отличие от предыдущего подхода: модель теперь напрямую анализирует driving videoi (видео с образцом движения) без построения скелетов и промежуточных костылей, что снижает дрейф идентичности персонажа при сложных движениях. Модель передаёт мимику, движения рук и умеет работать с несколькими персонажами одновременно.
Ключевая новая фича — управление ракурсом камеры текстом, независимо от исходного видео: раньше камера была жёстко привязана к driver-видео, теперь её можно отвязать и задавать словами, не ломая при этом движение персонажа. По смыслу Wan Animate 2 сравнивают с конкурентом SCAIL-2: SCAIL-2 пока обкатаннее в задачах replacement и сложных multi-character сценах, а Wan Animate 2 выигрывает именно как связка motion transfer + camera control.
- Уже выложены веса, код, интеграция с ComfyUI и 10-step Distilled версия модели
- Заявлена облегчённая streaming-версия Lite на 24 fps для реалтайма, но пока описана только в статье — веса не опубликованы
- По данным источника 2, Lite-версия обучена трёхэтапно, включая дистилляцию с поблочным обратным распространением, и держит задержку на уровне живого стрима — то есть цифровые аватары и ведущие трансляций могут работать без офлайн-рендера
- Demo доступно по адресу humanaigc.github.io/wan-animate-2, код — на GitHub (Wan-Video/Wan-Animate-2), веса модели — на Hugging Face (Wan-AI/Wan2.2-Animate-2-14B)
- Есть альтернативная выкладка весов и шаблонов workflow от Comfy-Org: huggingface.co/Comfy-Org/Wan-Animate-2 и готовый workflow-темплейт video_wan2_2_14B_animate.json в репозитории Comfy-Org/workflow_templates
Веса streaming Lite-версии на 24 fps пока не опубликованы — заявлены только в статье; ожидается их релиз, после чего цифровые аватары и live-стриминг смогут работать без офлайн-рендера.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖