Tencent Hunyuan совместно с Шанхайским университетом опубликовали AuK — открытую базовую модель на 1,5 млрд параметров, которая через инструкции на естественном языке решает почти все задачи с аудио: синтез и клонирование голоса, точечную правку текста в записи (включая переписывание строк песни с сохранением мелодии), управление акустикой и эмоциями, шумоподавление, разделение голосов и извлечение вокала из музыки.

Значимость релиза в том, что вместо набора узких инструментов для TTS, voice cloning, denoising и разделения дорожек теперь предлагается одна модель с единым интерфейсом на естественном языке, доступная под MIT-лицензией с открытым кодом и весами.

• Модель обучена на 1,95 млн часов эффективного обучающего аудио (по данным @ai_newz)
• Заявленные языки — китайский и английский; русский официально не поддерживается, но текстовый энкодер Qwen2.5-Omni-3Bi мультиязычен, поэтому возможен частичный перенос способностей на другие языки
• Архитектура: Qwen2.5-Omni читает инструкцию и аудио и превращает в смысловое условие, аудио-VAEi сжимает/восстанавливает звук, а трансформер по образцу FLUX состоит из 10 блоков MMDiTi (раздельные смысловой и акустический потоки) и 20 обычных блоков DiT на склеенной последовательности
• По замерам Tencent, AuK лидирует на бенчмарках Seed-TTS-Eval, InstructTTSEval, MMAE-Speech и SpeechEditBench, но лишь конкурентоспособна (не лидер) на задачах восстановления сигнала — DNS Challenge, CHiME-4, Libri2Mix
• По данным Tencent, AuK превосходит Qwen3-TTS в заявленных тестах
• AuK-Flash — дистиллированная версия, работает за 4 шага инференса вместо 32 и в 4,5 раза быстрее полной модели; для неё отдельно нужно скачивать Qwen2.5-Omni-3B как энкодер
• 1,5B — размер только основной модели; эталонная конфигурация дополнительно загружает Qwen2.5-Omni-3B (мультимодальный энкодер) и отдельный VAE; поддержки llama.cpp/GGUF нет, запуск — на PyTorch + CUDA, доступны CLI, Gradio и ComfyUI-ноды