Nvidia открыла веса Nemotron 3 Diarization — модели на 100 млн параметров, которая размечает аудиозаписи по говорящим: определяет, кто и когда говорил, включая моменты, когда участники перебивают друг друга. Модель работает как с готовыми записями, так и в потоковом режиме, различая до восьми собеседников — вдвое больше, чем предыдущая модель компании Streaming Sortformer.
В связке с ASRi (распознаванием речи) это даёт полную расшифровку встреч, звонков и подкастов с указанием, кто что сказал. Метки говорящих анонимны — модель не определяет личность, а только выделяет каналы speaker_X с таймкодами; привязку имён и ролей к каналам нужно реализовывать логикой конкретного приложения.
100 млнпараметров модели
8максимум различаемых собеседников
14,72%DER модели в Diarization-Bench