AuK: универсальная модель для работы с речью от Tencent Hunyuan
Н@GreenNeuralRobotsAI-инженер
1 месОбзор модели AuK от Tencent Hunyuan: клонирование голоса, редактирование аудио, очистка и разделение речи с использованием Qwen2.5-Omni-3B.
Новый инструмент для профессиональной работы со звуком, позволяющий редактировать речь и клонировать голоса через текстовые инструкции.
- Позволяет менять слова в готовой записи или песне с сохранением оригинальной мелодии.
- Упрощает очистку аудио от шумов и разделение голосов в сложных миксах.
- Модель AuK-Flash обеспечивает высокую скорость генерации, что важно для продакшена.
AuK (Tencent Hunyuan)
Универсальная модель речи: генерация, редактирование, очистка и разделение
Все через указания естественным языком
- Клонирование голоса: текст + референс голоса
- Instruct TTS: голос по описанию без референса
- Редактирование содержимого: заменил/вставил/удалил слова, переписал слова в песне с сохранением мелодии
- Акустика: питч, скорость, громкость
- Паралингвистика: эмоция, тембр, убирает акцент, дыхание/смех/кашель, обычная речь - шепот
- Очистка и разделение: улучшение речи, разделение говорящих, извлечение вокала из микса, выделение цели по сказанному
- 1.5B, MIT
- AuK-Flash: 4 шага, в 4.5x быстрее
Русский не заявлен, но текстовый энкодер - мультиязыный Qwen2.5-Omni-3B, так что пробуйте
Гитхаб
HF
Демо
#tts #voiceclonihng #voicedesign #alm #demix #audioseparation
Кратко (AI)
Tencent Hunyuan представила AuK — универсальную модель для генерации, редактирования и очистки речи. Модель поддерживает клонирование голоса, управление эмоциями и тембром, а также разделение аудиодорожек, используя текстовый энкодер Qwen2.5-Omni-3B.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖