Один из рынков сейчас растет в этом году по экспоненте И я не про AI, точнее не про весь AI. Рынок инференса сделал х30 за последний год и благодаря OpenRouter у нас есть возможность наблюдать за этим ростом почти в реальном времени. https://openrouter.ai/rankings Да, OpenRouter – это не весь рынок продажи токенов, но очень хороший прокси. Во-первых, они крупнейший аггрегированный провайдер, на которых хостятся даже гиганты вроде Fireworks, Together AI, Eleven Labs и Nebius. Во-вторых, по словам их же CEO их основной сегмент – это компании, которые законтрактовали себе объемов инференса меньше, чем им на самом деле понадобилось. То есть мы тут видим и спрос со стороны довольно больших организаций в том числе. Вообще говоря – у OpenRouter поразительно много открытых данных. Мне кажется я еще ни разу не видел настолько крупной и одновременно прозрачной компании.

Свежие обновления выгодности подписок подъехали Ребята не поленились: гоняли запросы через все тарифы (Anthropic, OpenAI, Meta, китайцы, Cursor, Devin) и смотрели, на сколько сдвигается шкала лимита от каждого типа токенов. В качестве промпта – кусок «Войны и мира», потому что на рандомный мусор модели отказываются отвечать :) Что получилось: – Подписки – это всего ~10% выручки Anthropic, но они съедают 40%+ инференс-компьюта. Т.е. это прям маркетинг за свой счёт. Но при этом они все еще довольно выгодные для компаний. – Fable 5.1 vs GPT-6 Astra – примерно паритет: $2,485 vs $2,897 в API-эквиваленте на тарифе за $200. Но у Claude на Fable можно потратить только половину лимита, вторая остаётся на остальные модели – А вот на «рабочих лошадках» Opus 5.5 vs GPT 6.1 Sol – Anthropic даёт ~5x больше ценности(!). Даже если считать в токенах, а не в долларах – OpenAI на прошлой неделе урезали тариф $200 вдвое и запустили $500, в котором Astra всего на 21% больше, чем в старом $200. Старые подписки живут на прежних лимитах до 29 октября. Китайские подписки (MiniMax, Kimi, GLM) – тоже норм по соотношению, чуть хуже OpenAI, но дешевле в абсолюте. Остальное к сожалению за пейволом. Но еще в одной статье получается самые выгодные - Muse от Meta запрещенной (если свои данные отдаете) - 100х от цены и Grok + X Premium (80 от цены). Но! Если смотреть на закрытые задачи за доллар (как раз вторая статья), то получается, что GPT-6.1 Sol через подписку все еще выгоднее, чем более щедрые лимиты Claude. Короче, Opus 5.5 на любом Claude-тарифе сейчас выгоднее всего, если нормально и быстро решает ваши задачи, если начинает разглагольствовать и жрать токены, то Sol 6.1 будет выгоднее. Ну и если хотите ультра-хай потребления, то Grok или Muse. https://newsletter.semianalysis.com/p/anthropic-subscriptions-offer-5x https://www.productcompass.pm/p/ai-subscription-api-value

🌟 SGLang научил чат-модели отвечать вероятностями Команда открытого движка инференса SGLang добавила эндпоинт /v1/decisions, который превращает обычную чат-модель в модель для принятия решений. Второй эндпоинт, /v1/systemone, отдаёт те же решения в формате System One API, который TypeSafe AI представила 19 сентября вместе со своей моделью Jev. API поддерживает выбор из 2–26 вариантов (до 255 с двухбуквенными метками), оценку по шкале из 2–10 уровней и вопрос «да или нет». SGLang присваивает каждому варианту метку из одного токена - буквы для выбора, цифры для оценки, yes и no для бинарных вопросов. Затем движок читает логарифмические вероятности следующего токена по всему словарю и переводит их в вероятности через софтмакс с учётом температуры.

Отсюда ограничение - метка обязана укладываться в один токен в позиции ответа.

Решение принимает один вход без истории диалога, а вероятности у холодного запроса и у запроса из префиксного кэша могут расходиться на несколько сотых. Для демонстрации SGLang заставил Qwen3.8-27B играть в Pokémon FireRed. Модель по текущему состоянию игры выбирала между атакой, сменой покемона и лечением меньше чем за 100 мс на решение и прошла Элитную четвёрку и чемпиона. Функция доступна в nightly-сборках SGLang из основной ветки. Её проверили на Qwen3.8-27B и Qwen3.5-35B-A3B, другие модели подойдут, если метки ответов укладываются в один токен. Примеры запросов и описание формата есть в документации SGLang. @ai_machinelearning_big_data #news #ai #ml

#YuE2 Официальные обновки: Выпустили техрепорт #skill yue2-music agent skill превращает описание, ABC-ноты или референс в инструментальную музыку. YuE2 пишет партитуру по умолчанию, навык переносит вокальную мелодию в инструментальную партию перед рендером. Рекомендуемый агент — GPT-6 Astra Сегодня в официальном HF появился новый VAE. Прежний остался под именем m-a-p/YuE2-Vae-legacy Обновился пак нод YuE2-ComfyUI (v0.10.0), улучшилось распознавание мелодий Новые проекты вокруг YuE2: YuE2-Turbo — ускорение инференса и серверный слой для YuE2. Превращает один GPU в продакшен-сервис. Потребление — потребительские карты, ~10 секунд на песню github.com/himomohi/yue — форк YuE2 с поддержкой всех языков. Полная поддержка мультиязычности поверх той же архитектуры с символическим планированием #t2m #m2m MAX

Технический отчёт DeepSeek-V4.1-Flash — часть 2/2 Продолжаем разбирать техрепорт DeepSeek-V4.1-Flash. Сегодня поговорим об архитектуре, а ещё речь пойдёт об обучении.  В SWA прогоняется не весь контекст, а только последние 128 токенов для построения начального SWA KV. Это не сильно влияет на качество, но позволяет уменьшать общий размер кеша в восемь раз по сравнению с тем, что было у DeepSeek-V4-Flash. Также в версии 4.1 используется Single-Pass mHC. mHC — Manifold-Constrained Hyper-Connections — вариант hyper-connection, в котором спектральная норма всех проекций равна единице. В варианте Single-Pass матрица смешивания вычисляется по прошлому слою и не зависит от текущих активаций. Благодаря этому, её можно зафьюзить в один кернел и получить ускорение, а также снизить трафик активаций.  Engram со 196 миллиардами параметров «лежит» в энкодере на первом и 14-м слоях, поделённый поровну. Для хранения N-грам используются восемь независимых кеш-голов, в каждой из которых примерно 16 миллионов записей. При этом «нагрузка» распределена неравномерно — чтобы уменьшить коллизии берутся простые числа, близкие к 16 миллионам. Сами N-грамы хранят в FP8. Из исходного Engram убрали каузальную свёртку, потому что она осложняла инференс.  В DeepSeek-V4.1-Flash вместо MTP используют DSpark. Он внедряется на этапе генерации роллаутов, и DSpark динамически обновляется под меняющуюся политику. KV-кеш хранят в формате NVFP4. Кеш квантуется после RoPE, потому что так удобнее инферить и это избавляет от необходимости накладывать RoPE на квантизованный кеш. Для SWA KV кеш делают в FP8, но он достаточно лёгкий, поэтому не сказывается на скорости работы.  Что касается инфраструктуры, то зрительный энкодер запускается отдельно, чтобы не тормозить языковой конвейер. Батчи накладывают так, чтобы они распределялись равномерно по числу токенов, ведь на входе могут быть изображения как высокого, так и низкого разрешения.  Декодирование почти не дорожает с ростом контекста — подорожание с 4К токенов до 1М составляет примерно 25%.  При сборе данных для обучения отфильтровывали слабый синтетический машинный перевод и старую информацию — старались брать свежие данные. В мультимодальный набор вошли пары изображения-текст и документы. В итоге вышло примерно семь токенов текста на один мультимодальный.  На претрейне было 45 триллионов мультимодальных токенов. Батч составлял 100,6 миллиона токенов, а контекст увеличивали с 64 тысяч до миллиона, снижая LR. По качеству рассуждений и выполнению задач, связанных с программированием, после претрейна 4.1-Flash сопоставим с V4-Pro-Base. На посттрейне — стандартный SFT, объемный RL с большим числом сред и синтетическими задачами. Для тренировки агентского поведения брали агентские задачи из открытых источников, а также генерировали синтетические — имитации корпоративных систем, их ошибок. Большее число RL-шагов позволило получить лучшие результаты в стандартных бенчмарках на кодинг вроде SWE-Bench Pro и DeepSWE. Сам RL — асинхронный. Роллауты генерируются независимо и подаются в модель по готовности. Токены с чрезмерной давностью маскируются в лоссе, чтобы избежать off-policy.  В финале посттрейна проводят On-policy-дистилляцию. Здесь более 40 моделей-учителей, каждая из которых отдельно проходила этап посттрейна. Учителя асинхронно генерируют траектории. Данные ученику подаются динамически от разных учителей, что позволяет получить лучшее качество.  По бенчмаркам DeepSeek-V4.1-Flash на агентских задачах примерно равен Opus-5. Однако авторы отмечают уязвимости сред оценки и сообщают, что модели могли произвести reward hacking. Результаты можно посмотреть в таблице выше.  Разбор подготовил ❣ Денис Кузнеделев Душный NLP

🎉 Маленькая LLM может тратить больше времени на загрузку, чем на ответ. Google изучила запуск квантованных моделей от 270 млн до 3,8 млрд параметров на Cloud Run с CPU. При «холодном старте» 55–70% задержки приходилось на загрузку модели: прежде чем генерировать токены, нужно перенести её веса в память. Нашёлся и менее очевидный эффект Cloud Run: переход с 4 на 8 ГиБ памяти в тестируемой конфигурации давал вдвое больше vCPU и почти вдвое сокращал время инференса после загрузки модели. Практический вывод для редких запросов к небольшой LLM: оптимизировать стоит весь путь до ответа — загрузку весов, конфигурацию инстанса и только потом генерацию. https://research.google/pubs/cold-start-latency-of-quantized-small-language-models-on-serverless-cpu-infrastructure/

Технический отчёт DeepSeek-V4.1-Flash — часть 1/2 Разберём технический отчёт DeepSeek-V4.1-Flash. В первой части обсудим архитектуру модели. Главное достижение авторов — экстремальное сжатие KV-кеша. При стандартном для frontier-моделей максимальном контексте в миллион токенов глобальный KV-кеш на один токен составляет 890 байт, что делает инференс даже максимального числа токенов почти бесплатным (менее одного гигабайта в сумме).  В архитектуре DeepSeek-V4.1-Flash каузальные энкодер и декодер, у каждого по 20 слоёв. Энкодер-декодер-архитектура выбрана не случайно: это помогает экономить вычисления. Нижняя половина слоёв формирует глубокое представление префикса, на которое затем аттендится декодер. В случае короткого промпта это позволяет в среднем в два раза сократить стоимость вычислений.  DeepSeek-V4.1-Flash — MoE-модель на 552 миллиарда параметров, плюс 196 миллиардов в Engram. На префилле активируются 8 миллиардов параметров, а на декоде — 16 миллиардов. Размер скрытого представления — 5120; количество аттеншн-голов — 64. Есть sliding window attention, один shared-эксперт и 384 маршрутизируемых. На один токен активируются шесть экспертов.  Кроме того, с самого начала обучения использовались изображения, так что модель — нативно мультимодальная. Изображение проходит через DeepSeek-ViT (32 слоя, 2D-RoPE), далее применяется pixel unshuffle 3х3, MLP-проектор, и всё это перегоняется в текстовый эмбеддинг. Вместо привычной свёртки для отображения пикселей в токены применяется линейный слой, что даёт возможность использовать Muon.  Как работает каждый из компонентов. На префилле энкодер делает полный проход по префиксу. На декоде глобальный KV-кеш проецируется из скрытого представления последнего, двадцатого слоя энкодера. Хидден подаётся не напрямую, а отображается layer-specific-проекциями. Это позволяет экономить на кеше в декодере. Ещё одна важная особенность модели — Compressed Sparse Attention 2 (CSA2) в нескольких режимах, против CSA и Heavily Compressed Attention (HSA) в базовой DeepSeek-V4-Flash. О том, что такое CSA и HSA, мы писали вот тут, а в этом разборе сосредоточимся на режимах CSA2. Всего их три:  — Full Mode — вычисляем полный KV-кеш и делаем полный аттеншн, но оставляем возможность определять важные и неважные токены, имея некие индексы. На части хороших кандидатов аттендимся сразу, а часть — 16 тысяч — передаём дальше.  — Reindex Mode — аттендимся на KV-кеш из Full Mode, выбираем из переданного пула хороших токенов своих кандидатов. — Reuse Mode — переиспользуем Top-K-индексы от Full Mode. Самый частый блок: 15 из 20 и на префилле, и на декоде.  Во второй части продолжим разговор об архитектуре, а также затронем претрейн и посттрейн. Разбор подготовил ❣ Денис Кузнеделев Душный NLP

много распрей последнее время читаю, что мол software бизнес уже retard тема как для vc, так и для предпринимателей. кмк сегодня разница между saas, ai-агентом, saas с fde или даже небольшой вертикальной нео-лабой со своей slm стёрлась. везде ты хочешь, чтобы клиент свайпал карту, а ты ему давал какой-то цифровой продукт. раньше ты это делал с нулевыми маржинальными издержками. ну а сегодня из-за инференса это в среднем 23% выручки. но это всё еще application layer, а значит инвесторы оценивают риски по выручке. 1/ открылись категории, которые раньше считались стрёмными для saas-инвесторов. legal, healthcare, стройка и тд. - harvey стоит $11b при ~$300m arr - legora (шведский legal ai, запустились в конце 2024-го) — $5.6b при ~$150m. до $100m arr дошли за 18 месяцев, быстрее cursor и wiz - openevidence, медицинский поисковик для врачей, подняли series b при $3.5b и примерно 35x выручки. используют больше 40% американских врачей раньше TAM считали по тратам на софт, иногда добавляли туда зарплаты людей. сейчас это весь knowledge work целиком. да, после 2023 AI сделал возможность чарджить за outcome. и прекарсно, что мы больше не увидим, как юристы или консультанты чарджат за свои непрозрачные часы. но за outcome, то есть за результат у клиента: (закрытый тикет, забронированная встреча, спасённая подписка) берут деньги около 10% стартапов остальные чарджат за использование(токены, вызовы, действия агента) и за output, за единицу сделанной работы: сгенерированный документ, инвойс, диалог, независимо от того, помог он или нет. имхо мешает не технология, а аттрибуция: настоящий success-based billing не работает для большинства продуктов, потому что непонятно, AI дал результат или клиент сам. а «подними конверсию на 50% и возьми 10% от прироста» концептуально рационально, но ломает sales comp: ценность аккаунта не измерить в момент продажи. я же по extruct вижу, что ситы продаются в 2026-м лучше, если ты придумаешь, как свести свою математику. 2/ сейчас все в invest mode.общий тезис -- не важно, сколько денег нужно, мы должны make ai happen и все что важно это рост == они разобрались быстрее, как make ai happen. все рассуждения про moat или фундаментальную аналитику каждый месяц разбиваются об камень (привет, lovable рейзит под $30b наверное сейчас). 3/ рынок только учится относиться к выручке ai-saas. пока это выглядит так: инвесторам нравится arr-составляющая (со всеми странностями репортинга), а низкий retention признают частью инноваций, все смотрят на рост. в altimeter придумали для этого термин experimental runrate revenue: ai-выручка, которую купили как эксперимент, почти без обязательств. 4/ то же самое про маржу. в saas это было предсказуемо. сейчас есть нюансы. iconiq считает среднюю динамику gross margin ai b2b 41% → 45% → 52% с 2024-го по 2026-й. но на другом спектре сидит replit у которого маржа за год гуляла от −14% до +36%. на самом деле инференс cogs это новый cac дай доступ на неделю бесплатно к топовой моделе на фри плане и получи приток пользователей. 5/ почему это ещё привлекательно? такой возможности для switching cost не было раньше. только 28 центов из каждого нового доллара на ai это net-new it-бюджет. остальные 72 цента вынимаются из того, что уже есть в стеке. что-то тут отъедают лабы, что-то новые тулы. 6/ аргумент, что стоимость софта сегодня 0 - шум. сама разработка в saas всегда оценивалась в 0, если ты не показал выручку или потенциал этой выручки. ну да, можно что-то завайбкодить и не покупать с рынка или покупать у fde-shops (kirkland & ellis, крупнейшая юрфирма мира, вкладывает полмиллиарда в собственную ai-платформу с palantir вместо того, чтобы купить harvey или legora). ок, сегодня это готово на 80%, но кому-то всё равно нужно это поддерживать и давать результат. 7/ ну даже если это списать на инерцию и сказать, что самописные фабрики слопа софта будут это всё поддерживать, я думаю, мы всё равно захотим обмениваться какими-то готовыми артефактами, куда просто перетечет сегодняшняя добавочная ценность.

Метод Сам метод донельзя прост: - 📝 Не сжимаем промпт. - 🎲 В каждом слое и голове случайно выбираем токены для выбрасывания. И все! Почему это работает? Увидим ниже. Эксперименты 🧪 Эксперименты гоняют на семействе Qwen3 / Phi-4 (новые модели сжимать не так интересно, у них гребаные GDN-ы и SWA). 📊 Замеряют на бенчах по математике / STEM — где промпт короткий, а генерация довольно длинная. 🔍 Сравниваются с SnapKV, R-KV, Vase, TriAttention. Первое, что замечают: на разных бюджетах ничто из эвристик явно не побеждает случайный выбор. А что-то прямо себя плохо показывает. Анализируя токены, которые были выбраны, замечают, что лучше всего себя показывает то, что сохраняет как можно больше промпта. Если явно наложить требование не прунить промпт, то некоторым методам становится заметно лучше. Почему так? Промпт подается однажды и важен на протяжении всей генерации. В ризонинге же модель часто повторяет одно и то же, потому там больше избыточности. Кроме того, если попрунить информацию о токене даже в одной голове, то она может сохраниться в другой. Потом проводят синтетический эксперимент со вставкой простого факта (число = тому-то) и делают его ретривал. По отдельности головы плохо предсказывают факт, но в совокупности, как оказывается, уже 2–3, а чем больше, тем лучше. Кроме того, оказывается, что каждой голове не нужно держать непрерывный факт: если он разбросан по головам, качество ретривала почти не меняется. Токены можно прунить не поодиночке, а группами по несколько токенов. Казалось бы, более грубый выбор должен отрицательно сказаться на точности, но до поры до времени, пока размер блока не доходит до 256, результат почти не меняется. Это говорит о том, что модели достаточно иметь довольно неполную информацию, как-то разнесенную по головам, чтобы все еще успешно решать задачу. Где эвристики оказываются важны — это в задаче доставания passkey: если факт указывается в начале и не повторяется в процессе. Тогда случайный прунинг и все бейзлайны, кроме R-KV, лажают. 🚀 По throughput при сервинге (1k токенов на вход, 32k токенов на выход) на H200 через vLLM они оказываются быстрее TriAttention на 30–40%. Ускорение за счет того, что скоринг не требуется. Выводы Довольно интересный результат про сжимаемость KV-кэшей: как будто attention-based и прочие эвристики все равно не угадывают ничего лучшего, чем случайный выбор. Да и про размазывание информации по головам тоже интересное наблюдение, было бы интересно связать это как-то с interpretability. Однако у подхода есть серьезное ограничение — он не очень полезен, если сам промпт длинный.

Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning 📄 Статья С увеличением характерной длины контекстов в LLM все острее стал вставать вопрос о сжатии KV-кэша. Длинный KV-кэш занимает много места в памяти, а еще и замедляет инференс. Исследователи за последние несколько лет придумали много эвристик по прунингу / слиянию токенов разной степени безумия — одна якобы лучше другой. А тут вот ребята из Salesforce Research заметили, что рандомный прунинг работает, вообще говоря, не хуже всех этих хитроумных идей, а кроме того, предлагает более быстрый инференс ввиду отсутствия необходимости оценивать важность токенов.

✔️ Китайская Ханьсюй показала архитектуру инференса на магнитной памяти Компания, которую в Китае называют первой отечественной MRAM-компанией магнитных вычислений, представила два архитектурных уровня для инференса - uHBM и uLPU. Ханьсюй предлагает держать веса целевой модели постоянно в массиве в массиве энергонезависимой MRAM - матрично-векторные операции выполняются на том же кристалле, а наружу идут только векторы активаций, которые заметно меньше.

Магниторезистивная память хранит бит не зарядом, как обычная память, а направлением намагниченности. В ней ячейка - это магнитный туннельный переход: два ферромагнитных слоя, разделённые тончайшим изолятором. Когда намагниченность слоёв сонаправлена, сопротивление низкое, когда противоположна - высокое, и по нему считывается ноль или единица. У MRAM почти нулевой ток утечки, скорость переключения наносекундная, а ресурс перезаписи практически неограниченный в отличие от флеш-памяти.

uHBM - это кристалл вычислительной памяти на MRAM, работающий в паре с GPU или NPU через UCIe, LPDDR5X или GDDR7. uLPU - инференс-чип, построенный поверх uHBM. Заявленные расчётные показатели первого поколения uHBM - 24 ТБ/с внутрикристальной полосы на чтение и цель выше 2000 токенов в секунду при декодировании мультимодальной модели на 4 млрд параметров. Из реальных прототипов есть верификационный чип SpinPU-ED01 со 120 банками MRAM, который прошёл независимую проверку и отработал 24 часа в стабильном режиме. Сроков, техпроцесса и цен компания не называет, но декларирует планы от кристалла до модуля, 2U-лотка и стойки. @ai_machinelearning_big_data #news #ai #ml

Друзья, спасибо большое всем, кто откликнулся про приватный инференс! Я писал тот пост, чтобы поделиться тем, что нашёл, а вы мне показали, что мои знания категорически отстали и авангард уже давно убежал вперёд. Вот что вы мне рассказали: Во-первых, кроме ZDR, который является юридической договорённостью, читай обещанием, есть ещё вариант с технической гарантией, что данные, которые мы отправляем, никуда не утекут. Называется это TEE — Trusted Execution Environment. Эта штука даёт криптографическую гарантию, что с сервера нам отвечает ровно та программа, которую нам обещали, без всяких дополнительных закладок и сохранения данных. Работает благодаря аппаратной поддержке на уровне процессоров Intel, AMD и NVIDIA. Исследователи регулярно находят в ней уязвимости, и я уверен, что крупную рыбу АНБ взломает в любом случае, но от массовой слежки это наверняка убережёт. Получается лучшее от двух миров: никаких капитальных затрат и при этом разумная гарантия безопасности данных, а не просто обещания. Таких провайдеров не очень много, и GLM-5.3 поддерживают ещё меньше, но есть Phala, Tinfoil и Privatemode, по цене они всего на 20–80% дороже OpenRouter ZDR. На этот вариант меня навели создатели Wisp, это как Claude Cowork, но для юристов, финансистов и всех, кто не хочет отправлять данные в публичные нейросети. Во-вторых, мы, кажется, недооценили варианты с квантизацией больших моделей и дообучением маленьких моделей на наших данных. Так, порой можно получить сравнимые результаты на радикально более слабом (и дешёвом) железе. Для своего проекта мы в результате предложили клиенту трёхэтапный план: Сначала проверяем с помощью TEE/ZDR, что это вообще работает на самых мощных моделях, выясняем границу возможного и прогаем всю обвязку. Арендуем тачку в облаке, разворачиваем там более простые модели и ищем оптимум по соотношению цены и качества. Покупаем своё железо. Ещё раз спасибо большое! Мой папа любил повторять, что лучше чувствовать себя бараном среди мудрецов, чем наоборот. Вот именно так я чувствую себя сегодня и благодарен богу, что вы есть и откликнулись!

🔥 Perplexity разогнала локальный запуск LLM на Apple Silicon Компания сделала собственный движок Lily специально под Mac и Qwen3.6-35B-A3B без PyTorch и MLX в цепочке выполнения. На MacBook Pro с M5 Max и 128 ГБ unified memory: - prefill: 5749 ток/с - генерация: 186,6 ток/с - в среднем prefill быстрее MLX-LM в 1,23× - decode — в 1,35× Что внутри: - runtime на Rust - собственные Metal-кернелы - MoE-routing остаётся на GPU - оптимизация отдельно под prefill и decode - KV-cache и Gated DeltaNet заточены под Apple GPU - 35B-модель ужата до 19,4 ГБ в 4-bit На длинном контексте отдельная оптимизация attention дала до +40% скорости на 128K токенов. Сам Lily Perplexity обещает скоро открыть. https://www.perplexity.ai/hub/blog/optimizing-on-device-inference-for-apple-silicon