Обзор архитектуры VoiceChat-TTS, модели для интерактивных агентов с поддержкой прерывания и потоковой генерации на основе токенов LLM.
VoiceChat-TTS: A Low-Latency Continuous Speech Synthesis Model for Interactive Agents
https://arxiv.org/html/2608.13831v1
VoiceChat-TTS is driven directly by LLM text-token streams,
supports explicit interruption via control tokens, and produces
silence when no textual input is available.
Для dual streams добавили просто токен BOS и interruption token.
Architecture:
1. character-aware subword tokenizer - усредненной по буковкам чтобы легче работать с новыми словами
2. MoGH - mixture of Gaussian heads; iteratively unmask RVG token - чтобы не иметь авторегрессия в depth decoder
3. gated fusion mechanism between text and acoustic embs - чтобы было легче обучать две модальности вместе
——
New metrics:
•
IOR@320ms (Interruption Obey Rate at 320ms) — % of cases where active speech stops within 320ms of the interruption signal
•
Mean stop latency (FDB-v1.5-compatible) — time from interruption onset to speech actually stopping, pooled from overlap intervals
•
Leakage@1s — how much assistant speech is still detected in the first second after interruption
•
AI-CER (After-Interruption CER) — CER of the next assistant turn after an interruption, testing whether the model can recover cleanly without resetting its KV cache
#grokaem_papers #grokaem_audio
#dual_stream
Кратко (AI)
Представлена модель VoiceChat-TTS, предназначенная для создания интерактивных голосовых агентов с минимальной задержкой. Архитектура поддерживает прямое взаимодействие с потоками токенов LLM, функцию прерывания речи через специальные токены и использует механизм Mixture of Gaussian heads для эффективной генерации аудио.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖