Disney Research представили модель для генерации точной анимации барабанщика по аудио

Ну, за барабанщиков. И аниматоров. Disney Research научили 3Д-пероснажа играть на барабанах слуiая обычную музыку. На вход подаётся аудио, а diffusion-модель генерирует полноценную 3D-анимацию барабанщика - движения корпуса, рук и палочек, причём удары должны попадать в нужный барабан в нужный момент. Это сложнее обычной music-to-motion: палочка движется быстро, промах даже на несколько сантиметров сразу ломает иллюзию. Поэтому авторы разделили обучение на две задачи: естественность скелетной анимации и отдельно точность палочек. В результате заявлена точность попаданий до сантиметрового уровня, при этом тело не превращается в механического робота. Что невыносимо круто - системе не нужен MIDI или заранее размеченный трек с нотами. Авторы собрали собственный датасет, придумали аугментации и добились работы с обычным аудио, которого модель не видела при обучении. Для проверки они даже ввели две отдельные метрики: расстояние между палочкой и целью в момент удара и корреляцию движения с аудио. В пользовательских тестах сгенерированную анимацию часто не могли отличить от настоящего motion capture. Еще раз: это уже не просто "персонаж двигается в ритм", а попытка восстановить из одной звуковой дорожки физически осмысленное исполнение на конкретном инструменте Может быть полезно для игр, виртуальныо-метаверсных музыкантов и ну и автоматической анимации персонажей. https://studios.disneyresearch.com/2026/08/18/generalized-audio-driven-synthesis-of-precise-drummer-motion @cgevent