Ловите еще одну идею на разъебаться) Есть чат в телеграм с друзьями. Уже 4 года ему. Думаю у каждого есть такие чаты, с всратым названием где вы впереписываетесь вообще без купюр. Постоянные подколки, угары и обсуждения филосовских вопросов. И вот мы давно уже разгоняли - что если скормить всю историю нашего чата - получится еще один угарный друг) И я вчера так и сделал. Загрузил все 75.000 сообщений. И создал нового бота Дейв. Подключил его к моему клоду и добавил в наш тг чат. И господи, как же он хорош! Он все про нас помнит. все локальные приколы и фразочки. Умеет понимать контекст. Он даже умеет скидывать гифки в тему и ставить реакции на наши сообщения. СТАВИТ РЕАКЦИИ НА НАШИ СООБЩЕНИЯ!! Дейв читает переписку и может сам иногда вклиниваться и закидывать чтото угарное. А вот со скрина меня вообще порвало. Я его не учил, и он сам стал писать по одной букве 😅 Живет это все на опусе. И уровень юмора, черного юмора просто пиздец. Его нельзя выпускать в открытые интернет) Хотя уже появилась идея завести ему отдельный тредс. Я уверен он быстро наберет аудиторию, так как собрал самые смешные части от всех нас. Сейчас ему прописал полностью персножа со своей историей. Взаимоотношения с каждым участником чата у него свои. Следующий шаг - я дам ему голос и научу записывать голосовые) Это впринципе не сложно. А вот сделать чтобы он мог к нам на созвоны к друзьям подключаться - это будет вообще разъеб) Как сегодня утром, я давно так не смеялся)

Метод Сам метод донельзя прост: - 📝 Не сжимаем промпт. - 🎲 В каждом слое и голове случайно выбираем токены для выбрасывания. И все! Почему это работает? Увидим ниже. Эксперименты 🧪 Эксперименты гоняют на семействе Qwen3 / Phi-4 (новые модели сжимать не так интересно, у них гребаные GDN-ы и SWA). 📊 Замеряют на бенчах по математике / STEM — где промпт короткий, а генерация довольно длинная. 🔍 Сравниваются с SnapKV, R-KV, Vase, TriAttention. Первое, что замечают: на разных бюджетах ничто из эвристик явно не побеждает случайный выбор. А что-то прямо себя плохо показывает. Анализируя токены, которые были выбраны, замечают, что лучше всего себя показывает то, что сохраняет как можно больше промпта. Если явно наложить требование не прунить промпт, то некоторым методам становится заметно лучше. Почему так? Промпт подается однажды и важен на протяжении всей генерации. В ризонинге же модель часто повторяет одно и то же, потому там больше избыточности. Кроме того, если попрунить информацию о токене даже в одной голове, то она может сохраниться в другой. Потом проводят синтетический эксперимент со вставкой простого факта (число = тому-то) и делают его ретривал. По отдельности головы плохо предсказывают факт, но в совокупности, как оказывается, уже 2–3, а чем больше, тем лучше. Кроме того, оказывается, что каждой голове не нужно держать непрерывный факт: если он разбросан по головам, качество ретривала почти не меняется. Токены можно прунить не поодиночке, а группами по несколько токенов. Казалось бы, более грубый выбор должен отрицательно сказаться на точности, но до поры до времени, пока размер блока не доходит до 256, результат почти не меняется. Это говорит о том, что модели достаточно иметь довольно неполную информацию, как-то разнесенную по головам, чтобы все еще успешно решать задачу. Где эвристики оказываются важны — это в задаче доставания passkey: если факт указывается в начале и не повторяется в процессе. Тогда случайный прунинг и все бейзлайны, кроме R-KV, лажают. 🚀 По throughput при сервинге (1k токенов на вход, 32k токенов на выход) на H200 через vLLM они оказываются быстрее TriAttention на 30–40%. Ускорение за счет того, что скоринг не требуется. Выводы Довольно интересный результат про сжимаемость KV-кэшей: как будто attention-based и прочие эвристики все равно не угадывают ничего лучшего, чем случайный выбор. Да и про размазывание информации по головам тоже интересное наблюдение, было бы интересно связать это как-то с interpretability. Однако у подхода есть серьезное ограничение — он не очень полезен, если сам промпт длинный.

Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning 📄 Статья С увеличением характерной длины контекстов в LLM все острее стал вставать вопрос о сжатии KV-кэша. Длинный KV-кэш занимает много места в памяти, а еще и замедляет инференс. Исследователи за последние несколько лет придумали много эвристик по прунингу / слиянию токенов разной степени безумия — одна якобы лучше другой. А тут вот ребята из Salesforce Research заметили, что рандомный прунинг работает, вообще говоря, не хуже всех этих хитроумных идей, а кроме того, предлагает более быстрый инференс ввиду отсутствия необходимости оценивать важность токенов.

Мой компаньон - Claude Code. Пока не могу его отпустить в полностью автономное агентское плавание, поэтому регулярно общаемся. Говорит он правильно, мысли излагает последовательно. Но проскакивают жаргонизмы, англицизмы и любопытные формы слов. Записал некоторые:

"Как ты и просил, теперь нет бинарей" "Типчекаю и тестирую с авторизованным запросом" "Теперь подключу лимитеры в AuthController (request-code и register), ключуя по IP клиента." "следующий крон-запуск продолжит ровно с 15-го, не реобрабатывая и не теряя ничего" "вернула более точную атрибуцию по дочерним юрлицам, которую раньше squash'ило в одну строку"

Изредка бывают глючки в формировании словоформ:

"появятся /en/ — lang придётся делать поматрушрутным"

А еще в контексте диалога на русском он может и в работе использовать русский. Например, тестировал свою работу и сам себе придумал названия для URL:

/sovsem-net-takogo-razdela /vacancies/net-takoy-XXXXXXXX

Причем, хочу отметить, что даже не топовая модель Sonnet 5 очень адекватна и отлично закрывает многие задачи, если постановка была нормальная. Зато гораздо менее прожорлива, чем Fable. GPT-6 Astra пока не пробовал. #ai #life

⚡️ Tencent обновила Hy4 Preview Пользователи жаловались, что модель слишком долго рассуждает и повторно проверяет ответы в сложных задачах. Команда оптимизировала этот процесс. По данным Tencent, обновлённая версия: * делает меньше промежуточных шагов * расходует меньше входных и выходных токенов * сохраняет прежнее качество выполнения задач * быстрее справляется со сложными агентными сценариями Результаты проверили внутренними бенчмарками и оценкой людей. Обновление уже доступно всем пользователям WorkBuddy. Hy4 Preview - открытая MoE-модель на 770 млрд параметров, из которых 49 млрд активируются при обработке токена. Контекст - до 1 млн токенов. https://workbuddy.ai https://github.com/Tencent-Hunyuan/Hy4-preview

Если вам кажется, что нейросети стали плохо писать тексты, то вам не кажется. Каждая новая модель Опуса справляется с текстами хуже предыдущей. Но во всех остальных задачах только прогресс — модели нового поколения умнее и быстрее предыдущих. Свежий пример: делаем с Клодиком лендинги, я прошу: «Не используй канцелярит, пиши живым человеческим языком». И получаю текст для сайта: «Закажите разработку у нас. Если вы закажете разработку у другой компании, получится срань». Почему так происходит? Первое — оптимизация ушла в другие навыки. Разгоняют кодинг, автоматизацию, агентские задачи — во-первых, тут прогресс легко посчитать, а с текстами его так просто не измеришь. А всем надо дрочить на бенчмарки. Во-вторых, тут как будто денег больше.  Второе — синтетические данные Ранние модели учились на текстах, которые писали люди. Но потом сеть заполонил нейрослоп — ИИ учится на текстах, которые генерирует другой ИИ. Все нейросетевые косяки тянутся в новые модели, множатся и бесконечно копируются. Происходит обучение заражённых данных и это не остановить. Третья — осторожность Нейросети обложены ограничениями: юридические, этические, безопасность, требования к нейтральности. Говоря простым языком — у нейросетевого текста нет личной позиции, но есть бесконечный страх, что за неосторожный тейк прижмут яйца.  Последнее —  мы научились распознавать нейрослоп Когда на сайтах появилась реклама в виде цветастых баннеров, наш мозг научился ее игнорировать — это баннерная слепота. С AI похожая история — мы это сразу считываем и теряем доверие. Нейрослоп конечно эволюционирует, тексты хуманизируются и все такое, но мы все равно это интуитивно детектим. Такой вот новоприобретенный коллективный навык. Выводы Не жили хорошо, нечего и начинать. Давайте опять писать тексты ебучие своими ручками.

🖥 NVIDIA показала TwoTower - способ заметно ускорить LLM без сильной потери качества. Обычные autoregressive-модели генерируют токены по одному - качественно, но медленно. Diffusion-подходы могут генерировать целые блоки параллельно, но обычно теряют в качестве. TwoTower разделяет эти две задачи. Первая башня - замороженная context-модель, которая читает уже существующий текст и сохраняет возможности исходной autoregressive-модели. Вторая - trainable denoiser, который параллельно восстанавливает следующий блок токенов и на каждом слое обращается к соответствующему слою context tower через cross-attention. По данным авторов: - до 2,42× выше throughput генерации - сохраняется 98,7% качества исходной модели - основа - 30B hybrid Mamba-Transformer MoE - адаптация обучалась примерно на 2,1T токенов против 25T токенов исходного pretraining При этом модель не обучали с нуля - TwoTower строится поверх уже существующей autoregressive-модели. То есть можно сохранить сильную базовую модель, но заменить медленную генерацию по одному токену на параллельную генерацию блоками. Код и веса открыты. https://arxiv.org/pdf/2606.26493

Про роли в промптах, часть 2 Продолжая предыдущий пост, основное на мой взгляд наблюдение дано в конце статьи: хоть роли, улучшающие ответ, и были, выбор роли под вопрос оказался сложной задачей. Если собрать оракула, который знает, какая роль лучшая, получается заметный прирост точности. Но вот попытки сначала честно подобрать роль увы не дали результата лучше, чем её случайный выбор. В жизни мы прописываем в промпте роль, понимая, что хотим получить от LLM (и даже до точной формулировки вопроса), поэтому проблема выбора роли как будто бы частично снимается. Кроме того, роль мы прописываем не просто для более точного ответа, а для более уместной стилистики. Таким образом, тезис «роли не работают» ничуть не лучше инфоцыганского «всегда пишите роль». И то и то передергивание, а в результатах, если добавить другие исследования, есть существенный разброс. Кратко что в других публикациях 2024-2025 года: Kong et al., NAACL 2024, "Better Zero-Shot Reasoning with Role-Play Prompting" - аргумент сторонников ролей. Двухшаговый ролевой промпт (роль, подтверждение от модели, задача) на ChatGPT поднял, например, AQuA с 53.5% до 63.8%; авторы считают роль неявным триггером chain-of-thought. Разница постановок со статьей, что разбирали с вами ранее: там был выбор варианта в фактических вопросах, тут рассуждение с генерацией решения. https://arxiv.org/abs/2308.07702 Salewski et al., NeurIPS 2023, "In-Context Impersonation" - эксперт своего домена отвечает лучше эксперта чужого, но та же механика внезапно вытаскивает еще и стереотипы: "от лица мужчины" модель описывает автомобили лучше, чем "от лица женщины". https://arxiv.org/abs/2305.14930 Gupta et al., ICLR 2024, "Bias Runs Deep" - 24 датасета на рассуждение, 19 демографических персон. Персона роняет точность, часть ошибок - очень интересные отказы вида "как человек с инвалидностью, я не могу решить эту задачу" (58% ошибок этой персоны было у ChatGPT-3.5). https://arxiv.org/abs/2311.04892 Luz de Araujo, Röttger, Hovy, Roth, EMNLP 2025, "Principled Personas" - 9 моделей, 27 задач. Экспертная роль в среднем не вредит и иногда помогает, но есть другое наблюдение: нерелевантная деталь в описании роли (например, имя) роняет точность почти на 30 п.п. Образование, специализация и близость домена влияют непоследовательно. https://arxiv.org/abs/2508.19764 Iadisernia, Camassa (Banca d'Italia), ICAIF 2025, "Prompting for Policy" - 2368 биографий экономистов из PersonaHub, GPT-4o воспроизводит опрос профессиональных прогнозистов ЕЦБ за 50 кварталов. Без персоны ошибка прогноза та же (p=0.31), а разброс между персонами на два порядка меньше, чем между людьми. https://arxiv.org/abs/2511.02458 Что добавили свежие публикации этого года (препринты, рецензирования не было, так что продолжаем вести наблюдение): Hu, Rostami, Thomason, 2026, "Expert Personas Improve LLM Alignment but Damage Accuracy" - наконец-то задались вопросом, почему результаты исследований расходятся. На знаниевых задачах роль вредит: MMLU 68.0% против 71.6% без роли, длинное описание хуже короткого. На задачах про формат, тон и отказы (письмо, извлечение данных, jailbreak-бенчмарки) роль помогает, и чем длиннее, тем сильнее: +17.7 п.п. отказов на JailbreakBench с ролью "safety monitor". Гипотеза в том, что длина контекста просто дает LLM сигнал «надо рассуждать». Что меня смущает в этой статье: она хоть и марта 2026 года, а исследует модели, которые с нами с начала 2025, да и в целом большие модельки не трогает, только их дистилляты. https://arxiv.org/abs/2603.18507 "When Does Persona Prompting Actually Help?", 2026 - 1140 открытых вопросов, 38 ролей, оценка LLM-судьей. Роль повышает "глубину экспертизы" и структурность, снижает ясность и прямоту. Выигрывает в консультативных доменах (медицина, психология), проигрывает на объяснительных вопросах. https://arxiv.org/abs/2605.29420 Итого: Роль в промпте может быть полезна для тона, формата, стилистики и границ поведения. Если нужен факт или расчет, роль может быть лучше убрать или сократить до одной фразы.

Как вам Астра? Я пробую ей давать небольшие баг фиксы на минимальном ризонинге и она работает очень быстро и делает хорошо. Ловлю приятное ощущение, что теперь кучу хвостов можно позакрывать быстро и хорошо (надеюсь, ощущение не обманчиво). Баги исправляются в одном из моих легаси проектов, который я развиваю еще с 2012 года и он ни разу не AI ready (разве что визуальный фидбек настроен). В общем, пока выглядит так, что low (light) ризонинга вполне достаточно для большинства задач, что и бенчмарки подтверждают - DeepSWE, FrontierCode. Единственное что удручает так это быстрый расход лимитов - даже на моей 200$ подписке. С другой же стороны, когда довольно быстро получаешь ожидаемый результат, то может оно того и стоит. Кстати, с более сложной задачей по качественному RAG по большей базе нормативов пока не справилась ни Fable 5.1 max, ни Astra pro - в очередной раз убеждаюсь насколько тяжело до сих пор заодн даже современным моделям разрабатывать сложных агентов, когда нужна предельная точность в ответах. Как у вас ощущения от Астры? Согласны, что low теперь достаточно для большинства задач? @ai_driven

Промпт "ты - эксперт" не повышает точность ответов LLM Гайды по промптингу, особенно в материалах свежеиспеченных AI-экспертов, советуют начинать промпт с роли: "Ты - опытный юрист", "Ты - senior data scientist". Zheng, Pei и др. (Findings of ACL) еще в 2023-2024 году проверили, влияет ли это на точность в задачах с проверяемым ответом. https://arxiv.org/abs/2311.10054 Для экспериментов выбрали 162 роли: 112 профессий (юрист, геолог, "Medical Diagnostic AI", "helpful assistant") и 50 социальных (мать, коллега, друг). В исследовании участвовало 9 моделей: Flan-T5-XXL, Llama-3 8B и 70B, Mistral-7B, Qwen2.5 от 3B до 72B. Для оценки точности использовали 2410 вопросов MMLU. Форматы "Ты - {роль}" и "Ты разговариваешь с {роль}", контроль - вопрос без роли. В результате выяснилось, что точность ответов либо на том же уровне, что и без ролей, либо хуже. Более того, можно было ожидать, что в более крупных моделях польза от ролей будет больше, но не тут-то было: вышло прямо наоборот, «вредных» ролей из всего эксперимента оказалось еще больше для моделей с бОльшим количеством параметров. Тут резонно заметить, что ссылаться на статью с последним апдейтом в 2024 году это очень сильно замороженная рыба для темпов развития ИИ в наше время, поэтому если пост соберет 50 сердечек, напишу, что еще интересного публиковали про исследование ролей в последние два года.

Я думаю, что нас ждет локальная llm как часть операционной системы. Мы в Steelman тренируем модели на computer use тректориях, поэтому активно догфудим дату. У нас есть навайбкоженный мной рекордер для записи экрана и системных ивентов с тонной кастомной логики. Установщик у него такой: "дай своему клоду/кодексу эту ссылку и скажи поставить, вот конфиг и ключи." Для обновления: "скажи своему этому пусть обновит." Я уже не помню когда последний раз разбирался в деталях как что-то поставить или настроить. А помните старые времена, до докера, когда частью навыков программиста было понять, как на одной машине установить две версии постгресса? Хорошо, что этот кошмар позади. Другой пример. Я поставил себе на Rog Ally X Готику 2 (точнее фанатский мод Archolos), но она жутко лагала. Запряг клода, он там нашел какой-то патч, чтобы перевести игру на современный DirectX. Все стало летать и графика стала лучше. Думаю смержить мегапак модов на New Vegas и заставить их запуститься оно тоже может. В общем, я думаю это новая норма. Причём мне кажется такой помощник/инсталлятор не обязан быть Фейбл 5.1. Я думаю и небольшая модель справится. И я думаю это может поменять как делается и дистрибьютится софт. Раньше вся работа ложилась на разработчика. Он должен сделать билд под все платформы которые хочет поддерживать и постоянно всё тестировать. Предполагается, что клиент не может и пальцем пошевелить. Однако в мире где к каждому компьютеру прилагается LLM разработчик может делать лишь некоторое ядро функционала, а затем каждый клиент допилит под себя всё необходимое, чтобы это запустилось на конкретно его утюге. Возможно это будет частью процесса инсталляции. В детстве мы смотрели за ползунком прогресса установщика где в основном была распаковка. А в будущем будем смотреть за ползунком, а под капотом там пережатый в 300 шакалов GLM Flash пишет драйвера.

​​Running a Software Factory Efficiently at Uber Scale В начале года была новость, что в Uber за первые 4 месяца 2026 года умудрились потратить весь плановый бюджет токенов за год. Они пытаются экономить и вот недавно выложили блогпост о том, как они держат под контролем расходы на агентов. Почему это актуально: больше 70% PR у них сейчас создают локальные или облачные агенты, инженеры написали 3.6k+ agent skills, и в день выполняется больше 30 тысяч запусков этих скиллов. С февраля по август 2026 недельные активные пользователи выросли в 7 раз, а количество агентных запросов - в 9.4 раза. Резать доступ они не хотели, поэтому стали резать стоимость. Всё считается через одну формулу: total spend = users × sessions/user × turns/session × requests/turn × tokens/request × price/token. Первые два множителя они хотят растить, а оптимизируют средние три - то есть ту работу, которую агент делает сам по себе. Что именно сделали: - Выбор модели по бенчмаркам из реальной работы. Для uReview (их агент код-ревью) бенчмарк собран из настоящих PR с известными багами, размеченных по сложности; считают precision/recall/F1 плюс cost per review, latency и шум. Смена модели подняла F1 и заметно уронила стоимость ревью. - Дефолтная модель для субагентов - послабее и дешевле. Это оказалось самым эффективным изменением: основная модель декомпозирует задачу и проверяет результат, субагенты просто выполняют. - Auto-compact на 400K токенов (даже для моделей с контекстом в 1M) и reasoning effort по умолчанию Medium. - Prompt caching с часовым TTL вместо пятиминутного. - MCP через CLI и tool search вместо предзагрузки схем. При сотне с лишним инструментов схемы съедали 50-70K токенов в каждом запросе. - Code-mode: несколько вызовов инструментов складываются в один Python-скрипт вместо отдельного хода модели на каждый. На простых SQL-запросах экономия 55-71%, на bulk-сценариях больше 90% (status poll просто не попадает в контекст). - Отдельная боль - SaaS MCP от вендоров: один workspace-сервер приносит 49 инструментов и ~22K токенов схемы. Их завернули в тот же гейтвей и тоже спроецировали в CLI. - AI Context Graph: 24 млн узлов и 80 млн рёбер из 30+ внутренних систем, с запросами на естественном языке. Пример из статьи: агент с графом нашёл нужную таблицу за 38 секунд, а тот же агент без графа 20 минут лазил по коду сервисов, поднял двух сабагентов, словил три ошибки и в итоге решил, что данные недоступны. - Видимость вместо жёстких лимитов: счётчик текущей стоимости прямо в статуслайне, алерты в Slack на 50/80/100% бюджета, и дашборд разбора сессий, который ищет 16 антипаттернов - Opus там, где хватило бы Sonnet; 40KB MCP-ответы, висящие в контексте и оплачиваемые на каждом ходу; протухший кэш после перерыва; 100K токенов инструкций и схем ещё до первого слова пользователя. Результат при фиксированной модели (февраль-июль): стоимость 1000 запросов упала почти на 34% от пика, стоимость сессии - на 52% от июньского пика, и это при семикратном росте использования. Главный вывод они формулируют так: гоняться за дешёвыми токенами менее выгодно, чем переносить работу из интерактивных сессий в managed-агентов, где полностью контролируешь роутинг моделей, харнесс и бюджет, и где у каждого агента есть свой бенчмарк. Uber blog #ai

K2-Horizon-MoVA-36B-A4B Открытая MoE-модель с новой архитектурой внимания — Mixture-of-Values (#MoVA). 36B параметров, но на токен активируется только 4B — быстрая как маленькая, умная как большая. Контекст 512K, Apache 2.0 - MoVA — собственный архитектурный прием: вместо одного значения на внимание — смесь значений, что дает больше выразительности при тех же затратах - 4B активных против 36B общих — можно запустить на том, на чем dense-модель такого же качества не влезет - Агентные задачи, кодинг и рассуждения — сильные стороны: Terminal-Bench, GPQA Diamond, SciCode - 512K контекста — длинные цепочки вызовов и документы не режутся старшая версия на 375B / 23B Кванты Спасибо @Endorpheen #agent #coding #reasoning