Xiaomi представила MiDashengLM-Gen: генератор комплексных аудиосцен

🌟 MiDashengLM-Gen: генерация комплексных звуковых сцен Команда MiLM Plus из Xiaomi опенсорснула генератор звука по текстовому описанию, который создаёт целостные аудиосцены из речи, музыки, звуковых эффектов и фоновой акустики окружающей среды. Под капотом - собственный аудиотокенизатор MiDashengLM-0.6B, построенный по архитектуре DashengTokenizer, и дообученная языковая модель Qwen3-1.7B, работающие в связке с Flow matching на базе DiT. Данные для обучения из двух источников: первый - приватный суперсет ACAVCaps на 77 тысяч часов с речью, музыкой и эффектами, второй - микс TTS-корпусов Emilia, LibriTTS, LJSpeech, AISHELL-3, WenetSpeech4TTS. Русский язык модель знает, в речевой части ACAVCaps его доля 4,66%, но основа обучения всё же английский (54%) и китайский (24,5%). В TTS-сетах русского нет вообще, и это видно по качеству (13,19% ошибок против 2,42% на английском). Управление в промпте задаётся тегами: <|caption|> - описание всей сцены; <|asr|> - текст для озвучки голосом; <|speech|> - тон, эмоции, стиль голоса; <|sfx|> - звуковые эффекты; <|music|> - описание музыки; <|env|> - окружающая среда. Указывать нужно все, а если поле неприменимо, туда идёт <|unknown|>. У чистой речи, например, заглушки стоят в полях музыки и эффектов. Смысл в том, чтобы управляющие факторы не слипались друг с другом. Модель видит явное разделение и не пытается вывести стиль говорящего из описания фонового шума. На выходе - трек в формате WAV с частотой дискретизации 16 кГц. Длина ограничена до 20 секунд, на более длинных таймингах модель не проверяли. 🟡Тесты

Прямых аналогов среди открытых моделей почти нет, поэтому авторы сопоставляют систему с узкоспециализированными по каждой задаче и со своим же предшественником Dasheng AudioGen.

Основная причина для гордости - разборчивость речи. На английском Seed-TTS доля ошибок упала с 12,15% до 2,79%. Мультиязычность тоже подтянулась, но до уровня Qwen3-TTS и Seed-TTS система не дотягивает. Вин-стрик по эмоциям на CV3-Eval, где эмоция подсказана текстом, - 0,98 радость, 0,96 грусть, 0,92 злость. По генерации отдельных звуков в AudioCaps система уступает TangoFlux (FAD 5,01 против 2,26).

В планах - клонирование голоса, подтягивание низкоресурсных языков и управление по времени.

📌Лицензирование: Apache 2.0 License 🟡Страница проекта 🟡Веса 🟡Arxiv 🟡Демо 🖥GitHub @ai_machinelearning_big_data #AI #ML #TTA #TTS #TTSFX #MiDashengLM #Xiaomi