Viggle выпустили открытую модель Viggle-Animate для замены персонажей в видео

Viggle внезапно вернулись с открытой моделью - и довольно бодрой. Последний большой модельный апдейт у них был ещё 12 февраля, когда вышел Viggle V4. Теперь они бахают Viggle-Animate - причём впервые с весами и кодом. Это замена персонажа на видео на базе MiniMax H3. Берём исходное видео, вытаскиваем из него один кадр, перерисовываем персонажа(никакого автомата нет, сами) в этом кадре типа в кота, самолёт или игрушку - и Viggle-Animate протягивает замену через весь ролик, сохраняя исходные движения, камеру и тайминг. Самое интересное - практически выкинули традиционную обвязку. Никаких pose skeleton, segmentation mask, face tracker, depth или текстового промпта на этапе видео. На входе только driving video + один переделанный(как-то) кадр. Внутри это полноценный fine-tune 33.1B ref2va-трансформера MiniMax H3 плюс DMD2 LoRA. Дистилляция уменьшила процесс до 4 sampling steps, то есть фактически 3 forward passes. Круто, что все используют Минимакс как стандарт теперь. Побивает Wan2.2-Animate-14B по скорости в 6 раз. Есть и ложка железа натощак. BF16-версия весит 33B параметров, трансформер занимает около 62 GiB, а полный прогон пикует примерно в 80.1 GiB VRAM. То есть обычной 80 GB карты уже формально не хватает - рекомендуют 96 GB+ либо CPU offload. Viggle пишет, что у них модель работает и на RTX 5090 32 GB через NVFP4, но этот квант они пока не выложили. Главная засада: модель не принимает обычный портрет персонажа. Reference должен быть именно кадром из исходного ролика, уже перерисованным под нужного персонажа. Такое мы видели у Рунвея два года назад. Ссылки: https://huggingface.co/Viggle/Viggle-Animate https://viggle.ai/blog/viggle-animate-character-replacement-from-a-repainted-frame https://viggle.ai/h3 https://viggle.ai/blog/everything-you-need-is-in-viggle-v4 @cgevent @cgevent