Hy-SimulMT Синхронный перевод живой речи между китайским и английским в обе стороны. Аудио приходит потоком, перевод текстом и голосом выдается по ходу разговора, без ожидания конца фразы. • Перевод во время речи, а не после • Клонирование голоса на лету, тембр говорящего сохраняется • Вывод и текстом, и синтезированной речью • Для встреч, докладов и интервью, есть приложение Hy Translate • 30 млрд параметров, 3 млрд активных на токен • Задержка около 3 секунд по метрике StreamLAAL на длинном аудио RealSI • RealSI-Sentence 84,7, выше всех в сравнении • FLEURS 90,3 и ACL6060 81,2, у Gemini в первом случае 92,4 • Качество по GEMBA выше четырех коммерческих API из пяти Отдельно авторы посадили шесть профессиональных синхронистов на 18 свежих записей по шесть минут из десяти разных сфер. Качество вышло на уровне людей, а отвечает система часто быстрее. Для синтеза и клонирования нужен свой TTS-сервис, в репозитории лежат инференс и обучение. huggingface.co/tencent/Hy-SimulMT-30B-A3B github.com/Tencent-Hunyuan/Hy-SimulMT #translation MAX

Сложно поверить, что целые продукты строятся с одного промпта, а speech recognition все еще фейлится. Одна из самых частых жалоб пользователей Fluently, что тьютор не правильно понимает, что они говорят. Разумеется, что у этих пользователей часто есть сильный акцент, ведь они пришли изучать язык, который еще не знают. Для нас критично понимать, где они неправильно произнесли слово, которое знают, а где произнесли неправильное слово. Поэтому мы выпустили свой бенчмарк, где меряем как real-time speech recognition системы работают на английском языке с акцентом. И на некоторых акцентах ошибок до двух раз больше! И это ток английский. На других языках типа греческого - там полная жопа. Больше деталей у меня в посте в твиттере! https://x.com/rebryk/status/2115126244782248363 Буду оч рад, если поддержите лайком и квотом 🙏🏻