← к умной ленте

Meta выпустила Muse Voice Transcribe — модель для расшифровки речи в реальном времени

Meta (Superintelligence Labs) представила Muse Voice Transcribe — свою первую модель, которая распознаёт речь в реальном времени без задержек, сама разделяет говорящих (диаризацияi) и определяет конец реплики. Модель выдержала сложный тест: 20 человек в одной комнате перебивают друг друга, а кто-то переключается между языками посреди фразы.

Для разработчиков и бизнеса это означает готовое решение для транскрибации совещаний, звонков и многоязычных переговоров без сложных пайплайнов из отдельных STT- и диаризационных моделей — всё объединено в одну систему.

20говорящих в диаризации одновременно
70+языков, на которых обучена модель
25языков подтверждены на старте
  • Модель умеет: потоковое распознавание речи, диаризацию 20+ говорящих одновременно, определение конца репликиi на лету, переключение между языками внутри одной фразы, настройку на конкретные имена и термины
  • Обучена на более чем 70 языках, из которых 25 подтверждены на старте; поддержка русского языка не указана
  • В демонстрации модель правильно разбирает восемь человек, говорящих одновременно, и корректно определяет, кто что сказал
  • Марк Цукерберг объяснил механику определения конца фразы: на сложных словах модель ждёт дольше, на простых — фиксирует результат быстрее, этот адаптивный сдвиг помогает точнее предсказывать следующий фрагмент речи
  • Точность повышается за счёт контекста: если заранее указать конкретное имя или место, модель узнаёт его и не путает с похожими словами
  • Модель заявлена стабильной на часовых записях с двумя десятками участников
  • Доступ для разработчиков открыт через Muse Code и Model APIi по цене 3 доллара за 1000 минут аудио; демоверсия опубликована в исследовательском блоге компании

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖