Nvidia открыла веса Nemotron 3 Diarization — модели на 100 млн параметров, которая размечает аудиозаписи по говорящим: определяет, кто и когда говорил, включая моменты, когда участники перебивают друг друга. Модель работает как с готовыми записями, так и в потоковом режиме, различая до восьми собеседников — вдвое больше, чем предыдущая модель компании Streaming Sortformer.

В связке с ASRi (распознаванием речи) это даёт полную расшифровку встреч, звонков и подкастов с указанием, кто что сказал. Метки говорящих анонимны — модель не определяет личность, а только выделяет каналы speaker_X с таймкодами; привязку имён и ролей к каналам нужно реализовывать логикой конкретного приложения.

• Архитектура: 31-слойный трансформерный энкодер с RoPE; вход — моно-звук 16 кГц, мел-спектрограмма сжимается в кадры по 80 мс
• На выходе модель каждые 10 мс выдаёт вероятность того, что говорит каждый из восьми участников, поэтому одновременная речь не мешает разметке
• Каналы нумеруются в порядке появления голосов, как и в предыдущей модели Sortformer; в потоковом режиме собеседники запоминаются через кэш голосов и очередь недавних кадров
• Длина записи не ограничена, потому что звук обрабатывается фрагментами
• В Diarization-Bench от Voice Arena модель заняла 1-е место из 12 систем с DERi 14,72% против 19,3% у следующей системы
• На DIHARD III при задержке 1,04 секунды DER снизился с 19,60% (у прежней модели) до 13,18%; на записях встреч NOTSOFAR1 — с 22,12% до 7,70%
• На разговорах двух человек из CALLHOME в офлайн-режиме новая модель немного уступает Streaming Sortformer: 5,98% против 5,68%