Ну, за барабанщиков. И аниматоров.
Disney Research
научили 3Д-пероснажа
играть на барабанах слуiая обычную музыку.
На вход подаётся аудио, а diffusion-модель генерирует полноценную 3D-анимацию барабанщика - движения корпуса, рук и палочек, причём удары должны попадать в нужный барабан в нужный момент. Это сложнее обычной music-to-motion: палочка движется быстро, промах даже на несколько сантиметров сразу ломает иллюзию. Поэтому авторы разделили обучение на две задачи: естественность скелетной анимации и отдельно
точность палочек. В результате заявлена точность попаданий
до сантиметрового уровня, при этом тело не превращается в механического робота.
Что невыносимо круто - системе
не нужен MIDI или заранее размеченный трек с нотами. Авторы собрали собственный датасет, придумали аугментации и добились работы с обычным аудио, которого модель не видела при обучении. Для проверки они даже ввели две отдельные метрики: расстояние между палочкой и целью в момент удара и корреляцию движения с аудио. В пользовательских тестах сгенерированную анимацию часто не могли отличить от настоящего motion capture.
Еще раз: это уже не просто "персонаж двигается в ритм", а попытка восстановить из одной звуковой дорожки
физически осмысленное исполнение на конкретном инструменте
Может быть полезно для игр, виртуальныо-метаверсных музыкантов и ну и автоматической анимации персонажей.
https://studios.disneyresearch.com/2026/08/18/generalized-audio-driven-synthesis-of-precise-drummer-motion
@cgevent
