Компания Viggle, после долгого молчания (последний крупный релиз — Viggle V4 12 февраля), выпустила Viggle-Animate — впервые с открытыми весами и кодом. Модель заменяет персонажа в видео: пользователь вручную перерисовывает персонажа на одном кадре исходного ролика, а модель распространяет эту правку на весь клип, сохраняя движения, камеру и тайминг.

Главная особенность — модель почти полностью отказалась от традиционной обвязки видео-пайплайнов: без оценки поз, сегментации, трекинга лиц, depth-карт и текстового промпта. На входе только исходное видео плюс один переделанный кадр.

• В основе — полный fine-tune 33.1B ref2vai-трансформера MiniMax H3 плюс дистилляция DMD2 LoRAi, сократившая процесс до 4 sampling steps (фактически 3 forward passes)
• Замена ролика занимает ~26 секунд — в 6 раз быстрее, чем у Wan2.2-Animate-14B
• Модель умеет работать там, где другим тяжело: быстрое движение, животные, негуманоидные существа, стилизованные персонажи; поддерживает несколько персонажей одновременно ("тот что слева")
• Слабое место — липсинк: рот не синхронизируется с речью
• BF16-версия: трансформер занимает ~62 GiB, полный прогон пикует ~80.1 GiB VRAM — обычной карты на 80 GB уже не хватает, рекомендуется 96 GB+ или CPU offload
• По заявлению Viggle, модель работает и на RTX 5090 32 GB через квантование NVFP4i, но сам квант пока не выложен
• Ключевое ограничение: reference-кадр должен быть именно перерисованным кадром из исходного ролика, а не обычным портретом персонажа — Viggle перерисовывает вручную, без автоматики