Джек Дорси представил голосовую модель Dessa

Джек Дорси представил голосовую модель нового поколения — Dessa Стартап из Торонто при поддержке бывшего сооснователя Twitter собирается перевернуть наше представление о разговорах с искусственным интеллектом. Новая голосовая модель Dessa звучит как настоящий человек — она понимает эмоции, интонации и знает, когда нужно остановиться, чтобы дать вам договорить.

«Мы верим, что голос — это самый естественный способ взаимодействия с интеллектом, поэтому мы создали Dessa — самую аутентичную модель речи в полно-дуплексном режиме, когда-либо созданную. Общение с ней ощущается как разговор с человеком… полным эмоций, нюансов, пауз и естественного ритма»,

— пишет Дорси. Традиционные голосовые ИИ используют каскадную модель: распознавание речи в текст, затем LLM на тексте, затем синтез речи из текста. Это лишает эмоций, интонации, пауз и ритма, навязывает чередование реплик. Dessa работает иначе: аудио на входе, аудио на выходе, без текста и без LLM. Модель обучена с нуля исключительно на записях человеческих разговоров. Она слушает во время речи, естественно обрабатывает прерывания, а также напрямую генерирует эмоции, смех и ритм из звука — как будто учится говорить, просто слушая вас. Модель запускается локально на MacBook Pro M4 Max и новее без задержек. С примерами можно ознакомиться на сайте https://block.xyz/dessa.