Tencent представила модель AuK для генерации и редактирования аудио
э@ai_newzAI-инженер
1 месTencent выпустила AuK — 1.5B модель для генерации речи, клонирования голоса и редактирования аудио с использованием Qwen2.5-Omni-3B.
Новый инструмент от Tencent упрощает профессиональную работу со звуком и голосом с помощью ИИ.
- Позволяет редактировать готовую речь без необходимости перезаписи всей фразы.
- Обеспечивает высокую скорость обработки благодаря версии AuK-Flash.
- Предоставляет открытый доступ к коду и весам для разработчиков и энтузиастов.
Nano Banana для аудио
Tencent выкатили AuK для генерации и редактирования речи. Это 1.5B модель, которая через один интерфейс превращает текст в речь и правит готовые записи по текстовой инструкции. Она клонирует голос по референсу, меняет слова без перезаписи всей фразы, убирает акцент и шум, крутит тембр, эмоцию, скорость и высоту, а ещё отделяет спикера или вокал от микса.
Обучали на 1.95 млн часов эффективного обучающего аудио. Для понимания инструкций отдельно используется Qwen2.5-Omni-3B, поэтому 1.5B это не весь размер модели. Вместе с базовой версией выложили AuK-Flash. Она делает 4 шага вместо 32 и работает в 4.5 раза быстрее. Код, веса и ComfyUI-ноды уже можно покрутить руками.
Демо
Код
Веса
@ai_newz
Кратко (AI)
Компания Tencent представила модель AuK, предназначенную для генерации и редактирования речи. Система поддерживает клонирование голоса, изменение эмоциональной окраски и тембра, а также очистку аудио от шумов. Для обработки текстовых инструкций модель использует Qwen2.5-Omni-3B, а также доступна облегченная версия AuK-Flash с повышенной скоростью работы.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖