Cekura выложили большой бенчмарк TTS для голосовых агентов – 26 моделей Раз уж мы про голос немного говорим. Кажется, что там уже близок момент, когда человек не сможет определить, что с ним говорит агент. Итак, прогнали 104 фразы, которые реально говорит телефонный агент (от приветствия до ответов на 500 символов), каждую по 3 раза из одного региона US East – всего 30 564 запроса. Мерили задержку до первого звука, как модель замолкает, когда её перебили, цену и насколько правильно она читает номера, коды, адреса и названия лекарств. Все к сожалению на английском, но вы можете хотя бы топ-5 взять в свой анализ и протестировать на нужных языках. Что получилось: – Самый быстрый – Gradium TTS: −64 ms в стриминге, т.е. начинает говорить раньше, чем пришло последнее слово :) Но точность чтения 79.5% и $36 за 1M символов – Лучший баланс – Inworld TTS-2 Flash: 45 ms, точность 93.2%, $15 за 1M. Старший TTS-2 – лидер по точности, 93.4%, за $25. Снова поздравляю команду Inworld. Видимо уже просто отдам клоду монтировать с ними интервью, дизайнер-монтажер бесит :) – ElevenLabs v4 Turbo – 69 ms, но 79.9% точности и $40. v4 – уже 561 ms и $80, а старый Flash v2.5 правильно читает коды и телефоны только в 55% случаев. А ведь раньше казалась топ-моделька. – Cartesia Sonic 3.6 – 270 ms и после перебивания продолжает говорить ещё ~0.8 сек. Для агента, которого постоянно перебивают, ну такое – Самые дешёвые – Soniox TTS RT v2 ($14.81) и Grok TTS ($15), оба замолкают мгновенно – Самый естественный голос – Fish Audio Drama 3 (4.54 по UTMOS), точность 91.3%. Удивительно... – Gemini, GPT-4o mini TTS, Qwen3-TTS и MAI-Voice не принимают текст по словам, поэтому в рейтинг по стримингу не попали Точность TTS тут оценивает… STT (я тоже так делаю :) ): записи прогоняют через Deepgram Nova-3 и Whisper. Кстати «St. Mary’s on Main St.» оказалась сложнее, чем «levothyroxine» – медтермины почти все читают на 97–100%, а Saint vs Street Cartesia, например, угадывает в 54–58%. Короче, если собираете голосового агента – смотрите не на общий скор, а на то, что критично именно вам: задержку, перебивания или чтение номеров заказов. Inworld сейчас выглядит как дефолтный выбор, а ElevenLabs за свои деньги заметно отстаёт. Харнесс и фразы открыты на GitHub – можно прогнать на своих сценариях. Очень советую, кстати, брать, чтобы не пилить самостоятельно коннекторы ко всем провайдерам. https://benchmarks.cekura.ai/text-to-speech

Александр, привет! Проблема действительно встречается, но она очень сильно зависит от конкретного кейса, реализации и региона, где агент внедрён. У меня на платформе сейчас 47 голосовых агентов в продакшене, около миллиона минут разговоров в месяц, и все они из разных отраслей. Может, твоему знакомому пригодится как бенчмарк. Вот несколько примеров того, как это выглядит у нас: Медицинские центры (запись к врачу): • Сразу просят человека: 17% • В течение разговора: 23% Интернет-провайдер (первая линия поддержки): • Сразу просят человека: 22% • В течение разговора: 57% Сервис лифтов: • Сразу просят человека 22% • В течение разговора: 35% Ресторан (бронирование): • Сразу просят человека: 17% • В течение разговора: 22% Сеть мед лабораторий: • Сразу просят человека: 30% • В течение разговора: 45% Аэропорт: • Сразу просят человека: 31% • В течение разговора: 38% Курьерская служба (входящая линия, не уведомления): • Сразу просят человека: 60% • В течение разговора: 76% Если будет полезно, могу сделать и более подробную разбивку: не только сколько людей просит человека, но и с какими вопросами звонят и какие интенты встречаются чаще всего. Надеюсь, кому-нибудь будет полезно.

Разбор аудиорежима в кодексе

Будет особенно интересно тем, кто сам разрабатывает что-то подобное. Но и просто пользователям тоже постарался сделать полезным – чтобы понимать ограничения таких систем и лучшие практики взаимодействия с ними

Короче, я тут на днях делал себе компрессы для глаз (*звуки деда*), а они прям полностью глаза закрывают, там такая маска, типа как для сна Ну и вместо того, чтобы спокойно посидеть и подумать о вечном, я врубил диалоговый режим кодекса и проболтал с ним пол часа вместо положенных мне 15 минут Стало интересно, че это он такой умный, и я полез реверсить билд кодекс аппа – реализация оказалась одновременно и простой, и глубокой. А сам подход можно использовать не только для аудио (но об этом в конце поста) В общих чертах – вы общаетесь не с самой gpt-5.6-sol в полноценном кодекс агенте, а с тупенькой моделькой gpt-realtime-1. Тупенькой, но быстрой. И заточенной под диалоговый формат с переживаниями – без этого естественности не добиться и любое общение будет мучением. Так вот, пока у этой модельки хватает сил самой с вами общаться - она будет. Но как только нужно будет сделать что-то сложное, она побежит к кодекс агенту и даст ему задачку. В этот момент сразу же скажет вам что-то вроде «ну-ка дай подумаю» или «так, разбираюсь». Это важно, чтобы мы чувствовали непрерывность общения – как с людьми Такой типа эффект Джарвис. И это реально работает! Получается интересная система, очень похожая на ту, которая бывает в обычных айти командах: - есть менеджер, который всегда онлайн и быстро отвечает, и который общается с заказчиком - есть исполнитель (например, разработчик), который пилит фичу и отвечает по несколько часов в перерывах между сфокусированной работой А менеджер ему еще по ходу докидывает задачки, если у заказчика появились новые хотелки Что интересного из этого следует для нас как для пользователей: 1. Если в процессе выполнения слишком много докидывать новые хотелки, то результат получится плохим: если вы когда то пробовали отправлять steer сообщения в чат работающему агенту, то вы скорее всего замечали – они часто его слишком сбивают с начального пути (ну реально, все как с человеками) 2. Как и в реальных командах, если хотите рулить через одного менеджера несколькими процессами – нужен еще тимлид для команды. Поэтому можно просить выступать в этой роли и ничего не делать самому, а для всех задач на исполнение создавать либо отдельные чаты, либо субагентов. Тогда получится: Менеджер ⬇️ Тимлид ↙️⬇️↘️ Исполнитель1, Исполнитель2, ..., ИсполнительN Тогда выполнение одной задачи не будет блочить главного думающего агента и будет наш привычный опыт, когда в параллель работают несколько чатов, но только с голосом в качестве канала передачи инфы Что тут полезного для тех, кто сам делает AI продукты/фичи Мне кажется, можно забрать сам подход с тем, что сессия основного агента не видна пользователю напрямую, а есть какой-то прокси уровень коммуникации. И это не обязательно должен быть голос. Это может быть какой-то визуальный слой (скоро поделюсь своими экспериментами с Liquid UI), или даже обычный текстовый, но в привычном интерфейсе условного Slack, с быстро отвечающей моделью, которая подтягивает контекст из сессии умного, но долгого агента Ну и если вы делаете голосовых роботов, то советую отправить агента посмотреть, в чем отличие вашей системы от кодекса – мб захотите что-то к себе перетащить И последнее – если вы хотите лучше разбираться в том, как сейчас строить ИИ продукты, но еще почему-то не реверсите реализацию топовых кодинговых агентов – очень советую начать. Это прям кладезь лучших практик

P.s. я, конечно, очень сильно упростил работу менеджеров – на самом деле они делают гораздо больше, чем gpt-realtime-1. Это просто самая близкая и наглядная аналогия, которую я придумал. Если у вас есть лучше, прошу в комменты

@ai_grably