Tencent представила Hy-SimulMT для синхронного перевода речи

Hy-SimulMT Синхронный перевод живой речи между китайским и английским в обе стороны. Аудио приходит потоком, перевод текстом и голосом выдается по ходу разговора, без ожидания конца фразы. • Перевод во время речи, а не после • Клонирование голоса на лету, тембр говорящего сохраняется • Вывод и текстом, и синтезированной речью • Для встреч, докладов и интервью, есть приложение Hy Translate • 30 млрд параметров, 3 млрд активных на токен • Задержка около 3 секунд по метрике StreamLAAL на длинном аудио RealSI • RealSI-Sentence 84,7, выше всех в сравнении • FLEURS 90,3 и ACL6060 81,2, у Gemini в первом случае 92,4 • Качество по GEMBA выше четырех коммерческих API из пяти Отдельно авторы посадили шесть профессиональных синхронистов на 18 свежих записей по шесть минут из десяти разных сфер. Качество вышло на уровне людей, а отвечает система часто быстрее. Для синтеза и клонирования нужен свой TTS-сервис, в репозитории лежат инференс и обучение. huggingface.co/tencent/Hy-SimulMT-30B-A3B github.com/Tencent-Hunyuan/Hy-SimulMT #translation MAX