VoiceChat-TTS: A Low-Latency Continuous Speech Synthesis Model for Interactive Agents https://arxiv.org/html/2608.13831v1

VoiceChat-TTS is driven directly by LLM text-token streams, supports explicit interruption via control tokens, and produces silence when no textual input is available.

Для dual streams добавили просто токен BOS и interruption token. Architecture: 1. character-aware subword tokenizer - усредненной по буковкам чтобы легче работать с новыми словами 2. MoGH - mixture of Gaussian heads; iteratively unmask RVG token - чтобы не иметь авторегрессия в depth decoder 3. gated fusion mechanism between text and acoustic embs - чтобы было легче обучать две модальности вместе —— New metrics: • IOR@320ms (Interruption Obey Rate at 320ms) — % of cases where active speech stops within 320ms of the interruption signal • Mean stop latency (FDB-v1.5-compatible) — time from interruption onset to speech actually stopping, pooled from overlap intervals • Leakage@1s — how much assistant speech is still detected in the first second after interruption • AI-CER (After-Interruption CER) — CER of the next assistant turn after an interruption, testing whether the model can recover cleanly without resetting its KV cache  #grokaem_papers #grokaem_audio #dual_stream

Пол двигается каждые четыре месяца Pat Grady из Sequoia выложил запись своего отчёта для инвесторов фонда о том, что происходит в AI. Это внутренний доклад, без какого-либо маркетинга, и наружу такие попадают редко. Grady считает, что компании, которые строят приложения поверх моделей, переизобретают себя каждые четыре месяца, потому что пол под ногами постоянно сдвигается. Интернет и мобильная связь меняли то, как информация распространяется. AI меняет то, как она обрабатывается, и последний такой переход был в 60-х, когда электроника перешла на кремний. Поэтому платформа, на которой ты строишь, улучшается быстрее, чем то, что ты на ней построил. В ведущих лабораториях уже обсуждают ASI, потому что модели во многом строят сами себя. Grady выделяет три точки перелома: ChatGPT в ноябре 2022 (масштаб), o1 в конце 2024 (рассуждения) и Claude осенью 2025 (агенты, которые держат длинную задачу). Первые две дали более быстрых лошадей, а после третьей ассистент стал агентом, который доводит работу до результата. С Zoom было так же: видеозвонки существовали и раньше, но доверять им начали только с ним. Что из этого следует: 1. Разрыв во внедрении. Между тем, что модели умеют, и тем, что реально внедрено, огромная дистанция, и все прикладные компании живут в этом разрыве. Лабы идут туда сами: режут цены на API и нанимают армии инженеров, которые сидят прямо у клиентов из Fortune 500 и строят там приложения на их токенах. Я писал про FDE как профессию, теперь это стратегия лаб. 2. Дорогая интеллектуальная работа: программирование, кибербезопасность, медицина, финансы, бухгалтерия. Sequoia ждёт гиганта в каждой из этих областей. Одна из таких компаний закрыла прошлый год на $200M и идёт на $700M в этом. В фарме кандидатов в лекарства уже находят промптом за дни вместо нескольких лет. 3. Свои модели. Компании уводят нагрузку с фронтир-моделей на свои дообученные open-source модели, и причина экономическая. Поставщик даёт три точки на кривой цена/качество - большую, среднюю и маленькую модель, а твои задачи почти никогда не попадают ровно в них, поэтому своя модель выходит дешевле и лучше. Дешёвые токены не значат, что все побегут к OpenAI. 4. Специализированные архитектуры. Ещё одна универсальная лаборатория миру не нужна, нужны лабы под конкретную область или новую архитектуру. JEV вышел на рынок с моделью-классификатором: большая часть корпоративного ML сводится к выбору из нескольких вариантов, и классификатор делает это в 100 раз дешевле, чем LLM. С нуля до $100M выручки за семь дней, The Information пишет об оценке $10B. 5. Организация как лаборатория. Лучших людей отделяют от операционки и дают ломать и строить продукт, а координация идёт через AI вместо слоёв менеджеров. Иначе за четыре месяца не пересобраться. Норма теперь - это два раунда подряд: один от партнёра, который строит продукт вместе с тобой, второй от того, кто просто даёт деньги. У Sequoia за год семь таких сделок: первый раунд в среднем по оценке $110M, а через месяц второй по $3,4B. Grady говорит, что никогда такого не видел, и сам называет это пузырём, хотя в том же докладе называет происходящее самым большим и быстрым технологическим переходом в истории. Мне кажется, верно и то и другое, я про это писал. Для Sequoia разрыв во внедрении - это рынок для стартапов. Мне он больше видится рынком ответственности: разрыв закрывают люди внутри конкретной компании, которые подписались за результат и готовы рисковать репутацией и позицией при следующем сдвиге пола. Конкурировать с лабами по вычислительной мощности бесполезно, а контекст, данные и того, с кого спросят за результат, лаба на себя не возьмёт. Я бы спросил свою компанию, что мы пересоберём через четыре месяца и кто за это отвечает. @maxvotek | linkedin | substack

Neo labs: большие раунды или большой риск? Помните мой пост о том, почему мы не инвестируем в neo labs (стартапы AI-исследователей)? Deedy Das, партнер Menlo Ventures (не путать с Mento 🙂), написал свои мысли и расчеты, объяснил почему вложения в такие компании сложно окупить. Даже если им удастся создать хорошую модель. Что тогда таким стартапам делать с вычислительными мощностями, на которые они привлекли сотни миллионов долларов? Перевел текст для вас, чтобы каждый составил свое мнение:

Экономика «неолабораторий» (neo labs) Под неолабораторией здесь будем понимать стартап, созданный AI-ресерчерами. Такая компания привлекает крупные инвестиции еще до появления готового продукта, чтобы оплатить вычислительные мощности и взяться за решение масштабной задачи в AI. Для обучения собственной AI-модели нужны огромные вычислительные мощности. По расчету автора, только оборудование обойдется в $125-150 млн за три года, причем часть суммы придется опплатить сразу. И даже при таких затратах можно обучить модель всего лишь уровня GPT-4. Прим.: в оригинале автор приводит конкретные модели оборудования и расчет их мощности Если взять сильную open-source модель и дообучить ее, шансов выйти на уровень передовых LLM больше. Но есть два риска: 1) Придется потратить еще миллионы долларов на среды для обучения с подкреплением (RL) - задачи и симуляции, на которых модель тренируется и получает обратную связь, 2) Пока вы дообучаете выбранную LLM, может выйти новая модель, которая окажется лучше. Тогда придется либо продолжать работу с уже устаревшей, либо начинать дообучение заново. Чтобы вложения окупились, ваша модель должна давать результаты лучше и, желательно, стоить дешевле. А клиенты должны пользоваться ею достаточно долго, чтобы прибыль от их запросов покрыла затраты на обучение. Если обучение модели обошлось в $10 млн, то при марже 50% и средней цене $2 за миллион токенов, клиенты должны воспользоваться моделью на 10 трлн токенов (!), чтобы прибыль покрыла только обучение. При этом нужно убедить клиентов выбрать вашу модель вместо новых и более дешевых, например Opus 5.5. Тем временем каждый час простоя влетает в копеечку. Поэтому свободные мощности обычно перепродают посредникам, используют для обработки запросов к open-source моделям или сдают в краткосрочную аренду. Но если мощности заняты меньше 60% времени, даже сдача в аренду не покроет расходы. Добавьте к этому огромные затраты на команду. Что тогда можно делать с вычислительными мощностями? • Вообще не лезть в разработку моделей, • Занять нишу, в которую не пойдут крупные AI-лаборатории (как сделали Jev и World Labs): такой продукт может мешать их основному бизнесу, приносить слишком мало денег или отвлекать от главной цели, • Собрать большой массив собственных данных в конкретной области (как Periodic Labs), и за счет них превзойти универсальные передовые модели. Такое чаще возможно в робототехнике, биологии и химии. Но даже если вам удалось создать полезную модель, которая выигрывает у крупных лабораторий по качеству и цене, этого мало. Нужно найти рынок, где достаточно клиентов и где выручка существенно превышает стоимость вычислений. Иначе огромные расходы на мощности не окупятся. Короче, легких денег здесь нет. Оригинал: https://x.com/deedydas/status/2103903382822089010?s=46

Лучшие посты | Mento VC Fund II | Стать инвестором

Написал знакомый продакт. Вам знакома боль?

на текущем месте работы сталкиваюсь с тем, что некоторые коллеги выполняют задачи с помощью ллм (тут все ок), но не удосуживаются когнитивно обработать ответ. просто копи-пастят первый же отпут моделей в чаты, в комментарии к задачам, принимают странные решения и так далее. генерят очень много слабых артефактов на 10+ страниц или гигантские таблицы, в которых сами разобраться не могут, и довольны собой мне же приходится очень много времени тратить на то, чтобы понять содержимое. задаю много уточняющих вопросов, на которые на звонке, например, ответить не могут, уходят спрашивать модель, возвращаются опять с бессмыслицей. доходит до абсурда вот пример, одну задачу по аналитике не можем решить уже три месяца, потому что главный аналитик все делает через кодекс, даже отвечает на сообщения, а исполнители не могут понять, что он от них хочет. прямым текстом пишут, что не понимают, тот объясняет опять через модель, и так по кругу. кое-как удалось затащить аналитика на звонок с исполнителем, чтобы они голосом обсудили, что не хватает, чтобы закрыть задачу. поняли все за 20 минут на звонке продакты из соседнего продукта генерят десятки продуктовых гипотез (типа убрать скидки, чтобы повысить маржу) без предоставления достаточного контекста моделям, тратим часы на звонки, чтобы разобраться, что это все дерьмо неприменимо коллеги не запоминают решения, потому что не они к ним приходили и все в таком духе. в общем, вместо ускорения работы, ллм накидывают только задач и времени на принятие решений

Палец вверх 👍 - вы тоже недовольны, робот 🤖 - у вас ИИ ходит по струнке. Если есть поучительные истории, делитесь в комментах.

Retriev for train, учим google поиск работать с подзапросами в неявном виде. 💻 Вышла интересная работа в бложике Google, в которой ребятки показывают как можно делать multi hop RAG без явной генерации подзапросов на запрос. Суть проблемы. Современные поисковые системы должны возвращать на запрос не одну лучшую ссылку, а связный набор взаимодополняющих результатов на первой странице. Например, на запрос "походное снаряжение" – поварешку, миску ложку, два батона колбасы, палатку, спальник, горелку, фонарь. 😁 Для этого используется техника query fan-out: один широкий запрос разбивается на несколько подзапросов, которые составляют полную группу кандидатов на ответ исходного запроса. Однако научить LLM делать это динамически дорого, ввиду: - Коллапса парафраз, те без оптимизации под базу данных zero-shot LLM генерируют почти одинаковые по смыслу подзапросы. -Задержка авторегрессия. LLM вынуждены генерировать сотни промежуточных цепочек рассуждений, чтобы спланировать разбиение. Это дорого + создаёт рост latency. Те время на ответ растёт. 😐 Че делать? Тут и придумали R4T. Идея один раз обучить модель через RL на генерацию нужных подзапросов, а потом сдистиллировать её поведение в лёгкую диффузионную модель, которая работает за один проход. 🧠 Подробнее: 1. RL-обучение. Делают FOLM модель на основе Qwen3 4b или Gemma3 такого же размера. FOLM генерирует подзапросы в виде текста и получает награду по трём критериям: · Groundedness  подзапрос должен соответствовать реальному объекту в базе поиска. Через среднее эмбеддинг расстояние между запросами в базе и подзапросом. · Diversity  измеряется через оценку семантического разнообразия фраз, зовут это Vendi Score, чтобы не было синонимов. Я бы тут брал угловые расстояние между эмбами подзапросов, нормы векторов и сравнивал это. Но над бы пороги подбирать. А тут красиво, через собственные значения векторов. Что показывает на сколько соноправлены эти вектора + угол. Что я и хотел придумать выше. 🌿 · Alignment привязка к исходному запросу, чтобы не уйти в семантический дрейф и не улететь по теме не туда. Логично, что каждый эмб подзапроса сравнивают с эмбом запроса. Итого нам не нужна никакая иная модель судья кроме эмбеддера векторной базы знаний. При этом сам эмбеддер мы не меняем, не тюним и тп. Далее крч, на этом учится модель FOLM через RLVR. Потом модель генерирует К траекторий подзапросов. Они эмбеддятся и идут на обучение диффузионного эмбеддера, всего на 53,9 млн параметров. Он учится по паре эмбеддинг запроса → набор целевых эмбеддингов подзапросов. Важно, что FOLM генерирует именно текст, а затем внешний эмбеддер превращает его в векторы. Диффузионная модель уже работает с готовыми векторами. За счёт этих фокусов мы на проде получаем на запрос в поиск сразу К эмбов подзапросов без промежуточных рассуждений в токенах. Результат впечатляющий: · Ускорение в 12–20 раз. Авторегрессионные подходы до 50 секунд. R4T доли секунды/несколько секунд. · Качество выше, чем у zero-shot и Best-of-N. Естественно приходится за скорость платить пайпом из М шагов обучения. Чудес не бывает. 😏

🎤 Выложил запись доклада "Сжатие приводит к истине? Как LLM выбирает, во что верить". Это рассказ про исследование, про которое уже писал, плюс все что накопал с тех пор И сразу мега крутая новость: вчера мою статью "Truth as a Compression Artifact in Language Model Training", на которой построен доклад, приняли в основной трек NeurIPS 2026! Моя первая серьезная научная статья - и сразу на одну из главных конференций по ИИ в мире!!!1 🎉🎉🎉 Насколько я смог найти, это вообще первый случай, когда в основной трек взяли работу независимого автора-одиночки из России Началось все с простого вопроса. Почему модели из разных стран одинаково не верят в астрологию, гомеопатию и в то, что на одной китайской площади ничего не произошло? В обучающих данных миллионы сайтов с гороскопами и весь китайский интернет. Чтобы разобраться, пришлось вступить на скользкую дорожку борца с мифами и лженаукой Главная мысль - обучение вымывает из данных непредсказуемость. Из научных данных можно последовательно делать предсказуемые выводы, поэтому наука хорошо сжимается. Астрология нет: по одной натальной карте разные астрологи выдают абсолютно разные прогнозы. Чтобы это проверить, обучил с нуля 300+ LLM-моделей разной архитектуры от 3.5M до 3B параметров. Никаких инициализаций открытыми весами, чистый рандом. Начал на своем маке, а закончил на кластере из восьми H100. Было дорого В докладе: - 1:14 - миф про 10% мозга (который так любят бизнес-коучи) - 3:20 - Кеплер и эпициклы - 4:47 - плоскоземельщик на ток-шоу - 6:34 - из лжи следует что угодно, или как Рассел доказал, что он Папа Римский - 11:12 - случайные ошибки модель вымывает, даже когда правильных ответов всего 10% - 12:33 - одно согласованное ложное правило - и предпочтение правды пропадает - 13:29 - с несколькими ложными правилами модель вдруг неожиданно начала предпочитать сложную ложь обычной математике. Потом рецензенты нашли ошибку в подсчетах - 15:05 - разбавил математику текстами из FineWeb так, что ее осталось 8% - 16:05 - случайно меняем географию в Википедии, так что в истории Франции появляется Уссурийск - 17:19 - что нашли рецензенты NeurIPS - 18:26 - главный вывод В посте про расцензуренный DeepSeek я писал, что алайнмент полностью снялся правкой 0,06% весов, а во что модель верит по-настоящему, решает претрейн. Когда китайская модель в чате уходит от ответа - это работа алайнмента, картина мира у нее может быть совсем другой. А вот для претрейна согласованная дезинформация неотличима от истины. Спасает то, что настоящие фейки редко бывают согласованными до конца Статья на arXiv | Код и данные на GitHub | Презентация из доклада P.S. Первое, что мне написали рецензенты: "парень, у тебя какая-то ерунда в данных". Они были правы - и теперь это статья на NeurIPS 😄 P.P.S. Число подписчиков моего канала уже почти 5000 человек (или агентов, тут уж не знаю). Мне очень приятно, спасибо 🙏

⚡ Как ускорить LLM на длинном контексте На AI RnD Day Никита Арсенин разобрал альтернативы классическому механизму внимания и показал результаты экспериментов команды. Он рассказал, как современные LLM избавляются от главного ограничения обычного attention — квадратичной зависимости стоимости от длины контекста, и почему в новых моделях всё чаще появляются гибрные подходы. 📌 TLDR Ускорять внимание можно двумя способами: выбирать из контекста только нужные токены или сжимать историю в состояние фиксированного размера. Первый подход сокращает дорогую агрегацию, второй убирает растущий KV-кеш. Но у обоих есть ограничения по доступу к деталям, поэтому их комбинируют с полным вниманием. В экспериментах команды sparse attention дал ускорение генерации в 4,8 раза на длинном контексте, а гибрид GDN + Attention Residuals — отдельно +6,2 п. п. на MMLU. 🔎 Sparse attention: сначала найти, потом прочитать В классическом трансформере query сравнивается со всеми keys, затем модель агрегирует соответствующие values. А в показанной схеме разреженного внимания дешёвый индексатор просматривает контекст и выбирает top-k позиций. Дорогая агрегация выполняется только по ним. Для последовательности длины L её стоимость снижается с квадратичной O(L²) до O(Lk). Но поиск не бесплатный: в этой схеме индексатор всё ещё даёт квадратичный член. Выигрыш в том, что он заметно дешевле полного внимания. 🧠 Linear attention Отдельные key/value всех прошлых токенов не хранятся. Они последовательно обновляют матрицу состояния S. В простейшей схеме со слайда: Sₜ = Sₜ₋₁ + vₜkₜᵀ При фиксированных размерностях состояния память и стоимость одного рекуррентного шага не растут с длиной контекста: O(1) вместо O(L). Суммарная работа механизма внимания для L шагов становится O(L), а не O(L²). Обратная сторона медали — история сжата. Нельзя просто обратиться к отдельному старому KV, как в full attention. Поэтому гибрид может чередовать, например, три линейных блока с одним полным: большую часть слоёв сделать дешевле, но оставить доступ ко всем позициям контекста. 🛠 Инфраструктура Наивные реализации DSA и линейного внимания поверх LLaMA-3.1-8B-Instruct показали ускорение в 2,6–3,75 раза на длинном контексте. А при сравнении PyTorch-реализации Gated DeltaNet с FlashAttention-3 линейное внимание стало быстрее лишь примерно на 200K токенов. Наша команда не ограничилась заменой слоя: адаптировала cuDNN-ядра для DSA/NSA, написала Triton-ядра для DSA и DSA + sliding window attention, оптимизировала линейные механизмы и Attention Residuals. Последние меняют смешивание выходов по глубине сети, а не отбор токенов контекста. 📊 Что получилось Модель с разреженным вниманием MSA справилась с генерацией примерно за 1,9 секунды, а базовый вариант с обычным вниманием MQA — за 9,2 секунды. Ускорение — в 4,8 раза. В отдельном эксперименте гибрид GDN + Attention Residuals обошёл full-attention baseline на 6,2 п. п. по усреднённому MMLU после примерно 110В обучающих токенов. Важно отметить, что это результаты конкретных конфигураций, а не гарантия для любой LLM. 🔗 Более подробно — в презентации Никиты (в комментариях файлом) и в записи выступления (тайминг: 1:07:00). #llm #attention #conference #paperwatch