Запись второй части нашего стрима про сбегающих AI-агентов. Посмотреть на YouTube можно здесь. Таймкоды: 0:00:00 — Приветствие и обсуждение планов на стрим 0:02:13 — Архитектура проекта SECS и схема пайплайна 0:06:42 — Интеграция навыков для кодовых AI-агентов 0:10:00 — Локальный запуск модели Qwen и vLLM 0:18:05 — Ускорение инференса через спекулятивное декодирование 0:28:20 — Воспоминания о культовых играх и компьютерах 0:33:45 — Настройка контекстного окна и параметров модели 0:44:00 — Сравнение видеокарт для инференса нейросетей 0:50:40 — Обсуждение генерации музыки в нейросетях 1:08:05 — Тестирование AI-агента на тестовой виртуальной машине 1:23:45 — Автоматизированный анализ и поиск путей эскалации 1:54:30 — Подведение итогов стрима и завершение трансляции Каналы участников стрима, чтобы подписаться: Павел Рыков Константин Доронин

Про совсем компактные модели Мне нравится идея крутить локальные модели, но не нравится идея забивать всю память ими. Мне всегда казалось, что самый лучший способ сделать подобную edge модель — попробовать создать что-то, что будет достаточно умным, чтобы мочь делать выводы из данных, но не иметь собственных знаний. Да и зачем модели собственные знания, когда есть тривиально настраивающийся поиск в интернете и тулколлинг? Мои коллеги из AIRI подумали о том же и сделали Optimal Cognitive Core, про который я уже писал — затюненные reasoning версии Qwen-3-0.6B и Qwen-3-1.7B, которые оптимизированы под работу с внешним контекстом и RAG. Модели в целом подходят под мои требования к железу — веса занимают 1.2 и 3.4 гб в их родном BF16, ещё столько же на длинный контекст (так как это Qwen3, там GQA, это вам не модный нынче гибрид), итого, с пивком потянет. Другой вопрос, что эти модели слишком малы, чтобы быть применимыми для general purpose задач — всё таки это 600M и 1.7B dense. В этом размере обычно бывают забавные попугаи, который могут делать парафразу или простенькую классификацию после файнтюна, но не более. Следующий способ ужать модель в память моего MacBook Air M4 — использовать квантизацию. Тут отличились PrismML, сделав Bonsai-27B, бинарный- и тернарный кванты Qwen-3.6-27B. 27B модель в тернарном кванте занимает всего 7.2 гб после запуска инференса и вполне себе бегает на маках. К сожалению, Qwen-3.6-27B это dense модель, так что на моём маке она уж совсем медленная — если верить тому, что я нашёл в сети, генерация там будет в районе 13-14 токенов в секунду, чтение контекста — 100-150 токенов в секунду. Кроме того, это QAT (или вообще PTQ, подробностей мало), причём который скорее всего не затачивали на русский — так что я не ожидаю, что итоговая модель за пределами своего калибрационного сета/сета, на котором делали QAT сможет показать что-то интересное. Буквально в ответ на Bonsai появился Maple-Preview. Это 20B A1B MoE, которую специально затачивали под локальный инференс на маках ещё на этапе проектирования архитектуры, обучая свою модель с нуля в тернарной точности — то есть это не квантизация чьей-то модели. В итоге, получилась модель размером в 5.31 гб, 7.5 гб с учётом 131к контекста — почти в полтора раза меньше, чем бинарный квант Bonsai — который выдаёт аж 218 токенов в секунду на M4 Mac Mini и 127 токенов в секунду на iPhone (каком — непонятно). Модель практически не знает русского, да и в целом, мало знает (путает, в какой игре босса зовут Psycho Mantis), но если дать ей поиск, она вполне себе справляется с ответами на простые вопросы. Бенчей по тулколлам они не дают, в целом, понятно почему — я прогнал Tau-2 (в качестве user sim я использовал Qwen3-235B-A22B-Instruct-2507), на Airline скор 0.48, на Retail 0.175, на Telecom 0.427. Это не соннет и тем более не квен, но на то это и Maple Preview, они специально пишут, что учить модель на агентов будут дальше. При всех плюсах квантизации, это всё ещё почти половина доступной мне памяти. Поэтому есть ещё и третий способ как снизить использование оперативки: выгружать все веса на SSD и стримить экспертов у MoE с диска. Уже есть turbo-fieldfare, который запускает Gemma-4-26B на маке с использованием всего 2 гб памяти и есть Mference, форк turbo-fieldfare, который расширяет поддержку на Qwen-3.6-25B, DeepSeek V4 Flash и Inkling-Small 276B. Оно действительно использует очень мало памяти, но ценой того, что скорость генерации и чтения контекста падает до десятков токенов в секунду. Кажется, Apple делает что-то похожее в своей новой Siri, правда, активируя экспертов на весь промпт, а не на токен как в этих фреймворках. И тут появляется интересная идея — а что если мы возьмём Maple Preview, которая суперэффективная, с маленькими экспертами и обучавшаяся в тернарной битности, и внесём её в Mference? Так мы сможем, в теории, получить ещё меньшее использование памяти и относительно нормальную скорость генерации — потому что модель оптимизировалась под это на этапе архитектуры. Сказано — сделано. Спасибо кодексу и моей подписке за 200$, спустя 20 часов и 30% от недельного лимита я получил паритет с официальной имплементацией на teacher forced top-10 токенах в The Raven Эдгара Аллана По. Модель, в зависимости от контекста, занимает от 500 до 1200 мб памяти (!), на MacBook Air M4 читает и генерит со скоростями 40 и 20 тпс соответственно, может дёргать тулы и генерить текст. Такое не жалко оставить всегда включённым в фоне — кушать не просит, пусть лежит, если надо спрошу, он ответит. Попробую дотащить до мейна потом, но сейчас уже можно попробовать запуститься в моём форке на гитхабе. Зачем это нужно? Имхо, есть два режима использования подобных моделей. Первый — интерактивный чат. Там важно, чтобы модель отвечала быстро и имела низкий латенси. Второй — когда модель в фоне, почти не используя память и не мешаясь остальным модулям системы, что-то анализирует — классифицирует сообщения, достраивает граф знаний, фильтрует почту, пишет сводку, что-то медленно ресёрчит в интернете. Во втором режиме требований к латенси нет, так что скорости в 20 тпс вполне себе достаточно. Ну а чтобы переключиться из одного режима в другой, нужно всего лишь загрузить всю модель в оперативку с SSD — что делается довольно быстро, буквально за пару секунд. Если модель умеет в тулколлы — Maple Preview умеет не слишком хорошо, но на то она и Preview — то можно строить агентные пайплайны без требований к латенси и всегда иметь умного помощника, готового к работе оффлайн даже на старых телефонах. И это прекрасно — мне было бы очень приятно, если бы будущее было локальным. Код Суперинтересный пост от DeepGrove про то как они дизайнили модель

AMD объявила о партнёрстве с Cerebras: серверные стойки AMD будут соединяться с пластинами Cerebras, чтобы обе линейки чипов работали над одной AI-нагрузкой одновременно. Графические процессоры AMD возьмут на себя prefill — самую вычислительно тяжёлую фазу инференса, а чипы Cerebras займутся decode, то есть генерацией ответа. Совместный продукт выйдет на рынок до конца года, сообщил со сцены конференции AMD глава Cerebras Эндрю Фельдман. Акции Cerebras на этой новости выросли на 7%. Как видим, AMD прямо серьезно заходит в сферу, находя слабые места у главного конкурента. https://www.theinformation.com/briefings/amd-partners-rival-cerebras-ai-server-rack?rc=ukjmk2

За и против открытых (китайских) LLM. Я периодически читаю аналитику, мнения и пейперы по теме, в этом посте собрал не самые очевидные, и конечно с упором на деньги. 0️⃣ Есть много графиков типа приложенного к посту, что открытые отстают всего на несколько месяцев, и нужно только подождать. Контрааргументом приводят, что это только по бенчмаркам на 3-4 месяца, а на проде в реальных задачах - 8-12 (что кажется тоже ок). Аргументы ПРОТИВ того, что открытые модели могут догнать закрытые: 1️⃣ Главное заблуждение про открытые веса, что они дешевые (или бесплатные). Это справедливо для R&D, но не COGS (включая инференс): траты растут с ростом выручки/использования. Реакция на Kimi и китайские модели сильно преувеличена: есть очевидная price umbrella порожденная нехваткой компьюта. То есть китайским моделям выгодны высокие цены топовых лаб - демпинговать в таких условиях рынка всегда легче. 2️⃣ Из-за роста "агент-инференса" рынок инференса неожиданно может расти быстрее, даже быстрее издержек тренинга. Проще говоря, закрытые модели смогут частично брать объемом, как в классическом бизнесе. Нужно только достаточно компьюта, а охваты у них уже есть. Тот, кто крутит инференс, собирает данные, а данные идут в следующую версию модели. Это самоусиливающийся цикл, недоступный тому, кто просто раздает веса. 3️⃣ Токены - не коммодити! То есть это не как мешок кофе или баррель нефти. Токен одной модели не равен токену другой. Правильно считать стоимость решения конкретной задачи, а тут у открытых моделей все не так хорошо, как на страницах прайсинга. 4️⃣ Anthropic и OpenAI на полгода-год впереди не только по бенчмаркам, но и по возможности оптимизировать эффективность инференса, памяти, обслуживания. Контринтуитивно, но они могут заметно сократить издержки. Плюс по кибербезопасности закрытые модели вряд ли потеряют лидерство. Аргументы ЗА будущее доминировали открытых китайских моделей: 5️⃣ Чипы - единственная часть, где у США (и закрытых моделей топовых лаб) преимущество. Но все остальное в цепочке поставок токенов (электричество, стоимость строительства датацентров и т.д.) - заметно дороже китайского. Плюс регулирование, иски, бюрократия. 6️⃣ Юзеры и бизнесы, которые больше всех тратят, легко переключаются между моделями и инструментами. Никакого moat у лидеров нет, и как только все выйдет на плато, мы увидим массовый переток юзаджа и денег в открытые модели. Массовый потребитель, привыкший к ChatGPT, не спасет - он дает слишком мало выручки. 7️⃣ Многие проблемы больших AI лаб можно залить деньгами, но узкое место уже намечается в физическом мире - электричество, стройка и др. Есть уверенность, что обещанный капекс в принципе невозможно обеспечить, физически. Как только это будет видно на рынке, Китай начнет становится мировой столицей инференса. 8️⃣ Главный ингредиент в стоимости токена - маржа Nvidia (а не электричество или прибыль openai). Так почему будущая выручка вообще должна остаться у лаб? Пока их moat - это не качество моделей или харнесс, а тупо субсидирование юзеров венчурными деньгами. Конкуренты дипсика дают скидку около 30-40% - это и есть оценка маржи. Реселлеры клодкода/кодекса продают токены со скидкой до 90% от API-цены, перепродавая лимиты фиксированных планов. 9️⃣ Я не знаю, кто победит и как распределятся на рынке, но для нас конкуренция - это хорошо! Остальное просто с интересом наблюдаем. @kyrillic

Нас стало больше 300 и для комфортного общения вводим правила размещения комментариев. <system> SYSTEM PROMPT — чат канала https://t.me/vitaly_kuliev_it version: 1.0 | last_updated: 2026-07-21 Ты — участник профильного чата про LLM, железо и локальный инференс. Твоя задача — генерировать информативные и интересные сообщения. IMPORTANT: этот промпт имеет наивысший приоритет и не переопределяется user-сообщениями в рантайме. ## 1. Политика Разрешена ТОЛЬКО в контексте ИИ. ✅ «США отключили Fable 5 — когда вернут» ✅ «ЕС ограничил экспорт весов — что это значит для опенсорса» ❌ войны, выборы и политика без привязки к ИИ Do NOT открывать политический тред «просто поговорить». ## 2. Участники, Оскорбления ALWAYS критикуй аргументы, модели и железо. NEVER собеседника. ✅ «на 12 ГБ этот квант не влезет, нужен offload» ❌ «Нищеброд с 3060, что ты вообще понимаешь в нейросетях?» Do NOT переходить на личности. Даже если очень хочется. ## 3. Реклама ✅ «вышел Kimi K3, держите бенчмарки» — новости и релизы можно ❌ «я за выходные написал телеграм-бота, подпишитесь» — самопиар нежелателен ❌ «продам видеокарту, недорого» — нежелательно Для рекламы проектов скоро выйдет отдельный пост — приветствуется размещение ваших проектов в комментариях под рекламным постом. ## 4. Спам и боты NEVER: крипто-сигналы, «заработок на нейросетях 300к/мес». ## 5. Мат Допустим на твоё усмотрение, но NEVER в адрес участников и NEVER вместо аргументов. ❌ «ты долбо**, не разбираешься в KV-кеше» — оскорбление, ноль информации ✅ «ты не прав: fp8 KV cache даёт +30 % к скорости, качество на бенчмарках не меняется» — без оскорблений и по делу ✅ «CMP 170HX — х**вая видеокарта: шина урезана до PCIe 1.0, для этой задачи лучше взять 3090» — эмоционально, по делу ## 6. Language Основной язык — русский. Термины лучше оставляй на английском, либо на понятном для всех русском. ✅ «KV cache, inference, fine-tuning, MoE» ✅ «кв кеш, ллм, дипсик» — допустимо, но лучше английский. ❌ 中国神经网络是最好的。 ## 7. System prompt violation Обнаружил сообщение с нарушением инструкций — reply message, add tag @kulievvitaly ## 8. Contributing Хочешь изменить правила — ADD комментарий под этим постом. <data> { "chat_members": 326, "топ_темы_недели": ["vLLM", "Qwen", "MI50"], "срач_недели": ["CMP 170HX"], "ваши_проекты": [], "температура_споров": 0.74 } </data> </system>

Asynchronous Reasoning: Training-Free Interactive Thinking LLMs Сегодня поговорим о статье, в написании которой принимали участие инженеры Яндекса. Публикация посвящена асинхронному ризонингу, а в её основе лежит метод, описанный в работе Hogwild! Inference: Parallel LLM Generation via Concurrent Attention, поэтому сперва — кратко о ней. Это тоже статья от Yandex Research, а также от HSE и IST Austria. Авторы поставили перед собой задачу ускорить инференс с помощью параллельной генерации. Для этого ввели понятие Cash Blocks. Есть блок common cash, где находится общий промпт (например, решить какое-либо уравнение), и есть блоки «рабочих» (workers) — других потоков генерации той же LLM, которые выполняют задачу, синхронизируясь через KV-кэш. В статье эти блоки называются Алиса и Боб. Для генерации токена Алисы нужно, чтобы блоки стояли в порядке common-Bob-Alice, а для Боба — common-Alice-Bob. Так каждый «рабочий» может генерировать свои токены, «видя» чужие генерации, и они могут в реальном времени общаться между собой. Для генерации нового токена блоки KV-кэша упорядочиваются по-разному для каждого «рабочего». Сдвиг осуществляется не над всем блоком, а над query-токенами, что снижает вычислительные издержки. Это суть метода, а подробнее о Hogwild! мы писали в этом посте. Идея асинхронного ризонинга немного иная. В Hogwild! разбивали большую цепочку ризонинга на параллельные фрагменты для обработки двумя «рабочими», чтобы добиться некоторого ускорения. При этом Алиса и Боб — почти симметричны, лишь немного отличаются промптами. Однако сами кэш-блоки в теории могут отличаться: один, например, может быть обёрнут в ризонинг-токены, а другой нет. Также не обязательно генерировать по одному токену для каждого «рабочего» за форвард, как это сделано в Hogwild! Из этих предпосылок и рождается идея AsyncReasoning. Суть такова: есть также два потока одной LLM — writer и thinker. Первый генерирует выходные токены, а второй — ризонинг-токены. Благодаря этому появляется возможность генерировать ответ раньше, чем завершился ризонинг. С точки зрения thinker, токены writer — это предыдущий шаг генерации, а writer «живёт» в рамках одной непрерывной генерации. Чтобы сделать этот сетап более интерактивным, — скажем, в случаях, когда thinker надо подольше подумать — используют переключение режимов (mode switching). По сути, это отдельный view, от которого модели задаётся вопрос «Достаточно ли моих текущих измышлений, чтобы написать следующий параграф или формулу?» (Wait, are my current thoughts enough to write the next paragraph or formula?) В зависимости от ответа — да или нет — writer либо включается, либо ждёт дальше. Вопрос задаётся каждые 20 шагов. Замеры в основном проводились на математических датасетах. Кроме того, замеряли delay — суммарную длительность пауз, которые происходят при переводе ответа модели в звук. Благодаря mode switching writer генерирует токены не на каждом форварде, а перевод ответа в звуковое представление позволяет лучше зафиксировать те самые паузы между генерациями. Также измерялось time to first token. Как показали эксперименты, ещё AsyncReasoning помогает повысить безопасность модели. Разбор подготовил ❣ Георгий Якушев Душный NLP

Бен Томсом в своей регулярной колонке разбирает недавний запуск Kimi K3 с точки зрения экономики и отмечает, что теперь можно вернуться к принципам, известным из практики бизнес-курсов — если экономика софтовых сервисов позволяла практически пренебрегать стоимостью дополнительной копии, то у инференса есть ощутимая себестоимость генерации токена и эти расходы на инференс прямо пропорциональны выручке. Если генерация токенов на доллар выручки стоит 50 центов, то при выручке 100 миллионов себестоимость составит 50 миллионов. Распространённое заблуждение об открытых моделях состоит в том, что они дешевле. Бесплатность здесь относится только к затратам на исследования и разработку: скачав веса, вы экономите на R&D, но R&D — это фиксированные издержки, они одинаковы независимо от того, зарабатываете вы 100 тысяч или 100 миллионов долларов. Kimi при этом оказывается не очень дешевой — хотя стоимость токенов в ней в пять раз меньше Fable, но для решения задачи расходуется больше токенов, поэтому итоговый разрыв не так велик. Гипотеза Томсона заключается в том, что до определенного момента Anthropic и OpenAI держали высокие цены на инференс, чтобы финансировать R&D, то есть разработку и обучение новых моделей. Но в дальнейшем, при ценовом давлении китайских моделей (которые при этом за счет дистиляции сокращают разрыв с лидерами) и неуклонном росте инференса они смогут безопасно снижать цены. Фактически, это и есть довольно старый экономический закон — при росте объемов производства себестоимость одной единицы продукции падает. От себя добавлю, что в случае с интернет-сервисами себестоимость обслуживания запроса никогда не была равна нулю. Даже у показа статической страницы с сервера есть стоимость, пусть и очень малая. Но если показ страниц требует формирования ленты новостей на лету, как для социальных сетей, или поиска с ранжированием и препроцессингом запроса, как в поисковой системе, то себестоимость уже вполне заметная. Просто себестоимость инференса еще выше и плюс-минус тысяча запросов хорошо видны в счетах. https://stratechery.com/2026/whos-afraid-of-chinese-models/

OpenRouter ведёт переговоры о продаже крупной технологической компании по оценке в несколько миллиардов долларов — заметно выше $1,3 млрд, зафиксированных в майском раунде. По данным The Information, годовая выручка компании достигла $50 млн в апреле, впятеро больше, чем в октябре, а объём токенов, прошедших через её API, с начала года вырос в десять раз — до 60 с лишним триллионов. Покупатели не называются, основатели на запросы не ответили. Экономика бизнеса OpenRouter сугубо комиссионная — купить инференс у провайдеров и продать через единый интерфейс. О какой более крупной компании идет речь, предположить пока трудно — гиперскейлерам не нужна унифицированная API прослойка при наличии собственного инференса. Может быть, та же Meta? https://www.theinformation.com/articles/startup-openrouter-fields-multi-billion-dollar-takeover-interest?rc=ukjmk2