Tencent представила универсальную аудиомодель AuK
M@machinelearning_interviewAI-инженер
1 месTencent выпустила AuK — универсальную модель для обработки аудио с открытым кодом, поддерживающую синтез, клонирование и редактирование речи.
Появление мощного открытого инструмента для профессиональной работы со звуком и голосом.
- Позволяет бесплатно использовать продвинутые функции клонирования и редактирования аудио.
- Снижает порог входа для создания качественного аудиоконтента без студийной записи.
- Предоставляет разработчикам гибкий инструмент для интеграции в собственные продукты.
Tencent открыла AuK - универсальную модель для обработки аудио
AuK выполняет несколько задач через инструкции на естественном языке:
* синтез речи и клонирование голоса без примеров для обучения
* замена, добавление и удаление слов в записи
* изменение эмоции, высоты, скорости и громкости голоса
* удаление акцента и преобразование речи в шёпот
* переписывание текста песни с сохранением мелодии и голоса
* удаление шума и реверберации
* разделение спикеров
* извлечение вокала из музыки
Модель содержит 1,5 млрд параметров. Опубликованы веса и код под лицензией MIT, доступны CLI, Gradio и ComfyUI. По данным Tencent, AuK превосходит Qwen3-TTS в заявленных тестах.
Также выпущена AuK-Flash - дистиллированная версия, которой требуется всего четыре шага инференса. В одинаковых условиях она работает в 4,5 раза быстрее полной модели.
Важно: 1,5B - размер только основной модели. Эталонная конфигурация дополнительно загружает Qwen2.5-Omni-3B как мультимодальный энкодер и отдельный VAE. Запуск рассчитан на PyTorch + CUDA, поддержки llama.cpp и GGUF нет.
https://www.orcarouter.ai/blog/auk-open-weights-speech-explained

Кратко (AI)
Компания Tencent представила AuK, универсальную модель для обработки аудио, способную выполнять широкий спектр задач: от синтеза и клонирования голоса до удаления шумов и редактирования речи. Модель с 1,5 млрд параметров распространяется под лицензией MIT, также доступна облегченная версия AuK-Flash для ускоренного инференса.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖