NVIDIA представила модель Nemotron 3 Diarization
Н@GreenNeuralRobotsAI-инженер
1 месNVIDIA выпустила модель Nemotron 3 Diarization на 100 млн параметров для распознавания и разделения речи до восьми собеседников в реальном времени.
Технология позволяет автоматизировать расшифровку многоголосых записей, точно определяя, кто именно говорит в каждый момент времени.
- Повышает точность транскрибации встреч и интервью с несколькими участниками.
- Позволяет обрабатывать аудиопотоки в реальном времени с минимальной задержкой.
- Снижает нагрузку на разработчиков систем распознавания речи за счет готового решения для диаризации.
Nemotron 3 Diarization от NVIDIA
Финальная версия диаризации на 100 млн параметров - размечает речевые отрезки каждого участника на записи и в потоке
• до восьми собеседников - вдвое больше предыдущей Sortformer
• одновременная речь не мешает - модель выдает вероятности для каждого участника
• длина записи не ограничена - звук режется фрагментами
• метки анонимные: speaker_X с такой-то по такую-то секунду, без определения личности
• имена и роли привязываются логикой сценария в приложении
• моно-вход 16 кГц
• кадры по 80 мс, предсказание каждые 10 мс
• кэш голосов в потоковом режиме - собеседники запоминаются между фрагментами
HF
Демо
Спасибо @m_franz
huggingface.co/blog/nvidia/nemotron-diarization
MAX
Кратко (AI)
NVIDIA представила модель Nemotron 3 Diarization с 100 млн параметров, предназначенную для разделения речи нескольких участников в аудиозаписях и потоковом режиме. Модель поддерживает до восьми собеседников, корректно обрабатывает одновременную речь и работает с неограниченной длиной аудио за счет сегментации.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖