Cekura выложили большой бенчмарк TTS для голосовых агентов – 26 моделей
Раз уж мы про голос немного говорим. Кажется, что там уже близок момент, когда человек не сможет определить, что с ним говорит агент.
Итак, прогнали 104 фразы, которые реально говорит телефонный агент (от приветствия до ответов на 500 символов), каждую по 3 раза из одного региона US East – всего 30 564 запроса. Мерили задержку до первого звука, как модель замолкает, когда её перебили, цену и насколько правильно она читает номера, коды, адреса и названия лекарств. Все к сожалению на английском, но вы можете хотя бы топ-5 взять в свой анализ и протестировать на нужных языках.
Что получилось:
– Самый быстрый – Gradium TTS: −64 ms в стриминге, т.е. начинает говорить раньше, чем пришло последнее слово :) Но точность чтения 79.5% и $36 за 1M символов
– Лучший баланс – Inworld TTS-2 Flash: 45 ms, точность 93.2%, $15 за 1M. Старший TTS-2 – лидер по точности, 93.4%, за $25. Снова поздравляю команду Inworld. Видимо уже просто отдам клоду монтировать с ними интервью, дизайнер-монтажер бесит :)
– ElevenLabs v4 Turbo – 69 ms, но 79.9% точности и $40. v4 – уже 561 ms и $80, а старый Flash v2.5 правильно читает коды и телефоны только в 55% случаев. А ведь раньше казалась топ-моделька.
– Cartesia Sonic 3.6 – 270 ms и после перебивания продолжает говорить ещё ~0.8 сек. Для агента, которого постоянно перебивают, ну такое
– Самые дешёвые – Soniox TTS RT v2 ($14.81) и Grok TTS ($15), оба замолкают мгновенно
– Самый естественный голос – Fish Audio Drama 3 (4.54 по UTMOS), точность 91.3%. Удивительно...
– Gemini, GPT-4o mini TTS, Qwen3-TTS и MAI-Voice не принимают текст по словам, поэтому в рейтинг по стримингу не попали
Точность TTS тут оценивает… STT (я тоже так делаю :) ): записи прогоняют через Deepgram Nova-3 и Whisper. Кстати «St. Mary’s on Main St.» оказалась сложнее, чем «levothyroxine» – медтермины почти все читают на 97–100%, а Saint vs Street Cartesia, например, угадывает в 54–58%.
Короче, если собираете голосового агента – смотрите не на общий скор, а на то, что критично именно вам: задержку, перебивания или чтение номеров заказов. Inworld сейчас выглядит как дефолтный выбор, а ElevenLabs за свои деньги заметно отстаёт. Харнесс и фразы открыты на GitHub – можно прогнать на своих сценариях. Очень советую, кстати, брать, чтобы не пилить самостоятельно коннекторы ко всем провайдерам.
https://benchmarks.cekura.ai/text-to-speech
