Fish Audio открыла веса речевой модели Drama 3

Fish Audio опубликовала веса Drama 3 — модели синтеза речи для дубляжа, аудиокниг и озвучки игр. Она поддерживает 83 языка, включая русский, и позволяет управлять подачей речи текстовыми указаниями; модель можно запускать локально.

В тесте Artificial Analysis Drama 3 показала 93,2% точности при чтении дат и контекстно-зависимых слов, обойдя S2.1 Pro. По другим сообщениям, она также превзошла ElevenLabs по точности произношения.

93,2%точность чтения дат и слов

35 млрд / 3 млрдобщие и активные параметры

48 ГБ VRAMзаявлено для локального запуска

Архитектура модели — MoEi: 35 млрд общих параметров и 3 млрд активных; используются гибридное внимание Gated DeltaNet и MTP-декодер аудиокодеков.
В тексте можно задавать ремарки в квадратных скобках, например [sighs] и [whispers], а также менять голос внутри предложения и генерировать диалоги нескольких персонажей.
Доступна точечная перегенерация одного слова без изменения остального аудио; модель также автоматически добавляет к тексту паузы и интонационные указания.
Для локального запуска Drama 3 в исходном сообщении указано требование 48 ГБ VRAMi. Позднее появились кастомные ноды ComfyUI-Drama3i: для них заявлен запуск на видеокартах от 8 ГБ VRAM.
Веса доступны на Hugging Face. Компаниям с годовой выручкой до 500 тыс. долларов разрешено бесплатно использовать модель в коммерческих проектах.

Что дальше

Следить стоит за доступностью и требованиями разных способов запуска: для ComfyUI-Drama3 заявлены карты от 8 ГБ VRAM, тогда как для локального запуска самой модели указано 48 ГБ VRAM.

Здесь появится ссылка, когда это произойдёт.

Fish Audio открыла веса речевой модели Drama 3

Обсуждение