Tencent Hunyuan совместно с Шанхайским университетом опубликовали AuK — открытую базовую модель на 1,5 млрд параметров, которая через инструкции на естественном языке решает почти все задачи с аудио: синтез и клонирование голоса, точечную правку текста в записи (включая переписывание строк песни с сохранением мелодии), управление акустикой и эмоциями, шумоподавление, разделение голосов и извлечение вокала из музыки.
Значимость релиза в том, что вместо набора узких инструментов для TTS, voice cloning, denoising и разделения дорожек теперь предлагается одна модель с единым интерфейсом на естественном языке, доступная под MIT-лицензией с открытым кодом и весами.
1,5 млрдпараметров основной модели AuK
1,95 млн часовобъём обучающего аудио
4,5xускорение AuK-Flash относительно базовой модели