AgentFold — метод управления контекстом для агентов на длинных задачах На длинных сценариях поиска и анализа веб-агенты либо хранят слишком много сырой информации, либо слишком часто её суммаризируют, что забивает контекст. Авторы сегодняшней статьи предлагают метод AgentFold (GitHub), призванный решить эту проблему, сделав память агента динамической и управляемой самим агентом. Сейчас в веб-поиске используются два подхода. Первый — это ReAct, при котором все действия и решения конкатенируются в конец контекста. Благодаря этому ничего не теряется, но и контекстное окно забивается очень быстро. Второй подход — суммаризация на каждом шаге, однако при этом какая-то часть информации неизменно теряется. Ключевая идея AgentFold — создание активного и динамически пересчитываемого контекста для каждого следующего шага. То есть агент самостоятельно выбирает, что нужно запомнить точно, а что можно суммаризовать. Авторы отмечают, что они вдохновлялись человеческой способностью к осмыслению собственного опыта. В статье предлагается модифицировать и контекст, и то, в каком формате выдается ответ. Контекст должен состоять из следующих элементов: • Question — исходный вопрос; • Tools — доступные инструменты; • Multi-Scale State Summaries — свёрнутые блоки прошлых шагов. Например, шаги с первого по третий представлены одним блоком. При этом свёрнутым может быть и один шаг; • Latest Interaction — последний полный шаг. Суть в том, что все предыдущие действия хранятся в сжатом виде, а последнее — в подробном. Это позволяет меньше загружать контекст. Что касается ответа, то тут модель должна сперва размышлять, а потом делать фолдинг шагов. Он может быть гранулярным (granular) или глубоким (deep). В первом случае схлопывается только последний шаг, а во втором — целая ветка (например, «шаги с четвёртого по девятый»). После фолдинга идёт этап, на котором модель объясняет, почему объединила шаги именно так, как объединила. Наконец, вызываются инструменты и совершаются какие-либо действия. Для обучения всему вышеописанному, авторы брали вопросы из WebSailor и отправляли их во внешние опенсорсные модели (GLM-4.5 и DeepSeek-V3.1), чтобы построить контекст конкретного шага. При этом о том, как генерируются данные, не сообщается. Далее авторы генерировали ответ, выполняли действие, получали ответ от среды и собирали следующий шаг траектории. Проблема в том, что LLM сами не умеют сжимать контекст, что ведёт к ошибкам, галлюцинациям и тому подобному. Неправильные решения авторы отбрасывали, но как — в статье не описывается. Итоговый датасет представляет собой не набор пар «вопрос-ответ», а выборочный набор пар взаимодействия (intersection pairs), удовлетворяющих определённым условиям. На эти пары делается SFT. Согласно результатам замеров, AgentFold помогает снизить нагрузку на контекст к сотому шагу на 91% по сравнению с ReAct. При этом с увеличением числа шагов точность, как сообщают авторы, только растёт. Разбор подготовил ❣ Антон Гырдымов Душный NLP

когда начнётся recursive self improvement - то будут знаки: Cline дали Kimi K3 улучшить собственную агентную обвязку для работы с кодом и терминалом. За 17 часов модель переписала правила работы с контекстом, инструментами и проверками: на TerminalBench результат вырос с 77,5% до 88,8%, а стоимость прогона упала с $79 до $49,8. Веса Kimi не менялись, но она сделала эффективнее систему, через которую сама выполняет задачи. OpenAI показали похожий эффект с GPT-5.6 Sol на ARC-AGI-3: сохранение reasoning между ходами и сжатие контекста подняли результат с 13,3% до 38,3% и сократили расход выходных токенов в шесть раз🤯 (Opus 5 с 30,16% больше не лидер)

Как экономить контекст в coding agent (claude, codex etc.) Задача переписать легаси на сотни тысяч строк кода, которая разрабатывалась (криво и косо) на протяжении 5 лет, за 3 месяца. Сюда входит погрузиться: в продукт, инфру, архитектуру, нагрузку, тестирование и проч. Чтобы успеть, нужно смерживать десятки PR/день. Когда нибудь напишу, как мы построили процесс, а пока простые мысли, как экономить контекст, ибо что в лимиты упираешься постоянно. 1) Субагенты строго через младшую модель. Пример: Opus 5 оркестратор, Sonnet 5 субагенты. Идеальный сценарий когда младшая никогда модель не принимает никаких решений. 2) `/compact` каждые ~150k токенов: сейчас, когда у моделей по 1м контекстного окна, мозгу кажется что 250k это всего лишь 1/4, то есть мало, а по факту 250k это 250k, и с каждым след.запросом стоимость возрастает. Какое бы не было контекстное окно, я держусь в минимальных пределах. 3) По одной задаче на чат: допускал ошибку, когда давайл скоуп задач в стиле "/goal работай пока не закроешь все". Работает херово. Не потому даже что модель путается, а просто потому что вам так сложнее понять статус и прогресс. Понимание происходящего ценно, держитесь за него. Еще помогают четко описанные задачи, но это уже не просто об оптимизации токенов, а в целом о качестве. Пример секций: что делаем, зачем, что входит в задачу а что нет, как проверить задача успешно выполнена.

Расходы сейчас всех поджимают. Ищем способы сократить затраты. И вот где можно прилично сэкономить, я считаю. Подходит ко мне на днях сотрудник: — Ринат, давай напишем вот этому партнёру. — Они что-то спрашивали? — Нет. Просто задачка на поверхности. — А что с подсчетом финансов по другому проекту? Пауза. — Пока не готово. И я вот думаю, это не задачка на поверхности, а задача, которую можно вообще не делать. Есть дела важные, есть срочные, а есть шум. Шум всегда выглядит как работа, а на деле какая-то херота, которая не ведет к важному. Почта, чаты, тут-там ответил, а в копилку результатов положить нечего. Мы с фаундерами тут дискутировали, кто контролирует задачи команды, кто нет. Я вот стараюсь контролировать приоритеты недели. Потому что ненавижу, когда кто-то (в том числе я) очень усердно и старательно делает то, что можно было вообще не делать. Вот эти мои стикеры и засекание времени — всё чтоб убедиться, что я делаю то что надо. А для команды есть еженедельные собрания. Многие ищут способы экономить, думают им нужны ИИ-автоматизации, а на деле порой надо посмотреть чем вообще заняты люди. Когда я на собрании команде говорю: «Вот этот большой кусок работы — это больше не важно, так что не делаем» — я могу умножить часы на зарплату людей и точно узнать сколько я сэкономил.

⚡️ Moonshot AI открыла FlashKDA - быстрые CUDA-ядра для Kimi Delta Attention FlashKDA — реализация KDA на базе CUTLASS, заточенная под современные GPU NVIDIA. По бенчмаркам разработчиков: • H20: ускорение примерно до 2,31× относительно chunk_kda • GB200: до 3,27× на variable-length sequences • поддерживается batching последовательностей разной длины • интеграция уже есть в flash-linear-attention ≥ 0.5.0 — FlashKDA может автоматически выбираться как backend Требования пока серьёзные: SM90+, CUDA 12.9+ и PyTorch 2.4+. Интересно здесь другое: вместе с моделями Moonshot постепенно открывает и низкоуровневый стек, необходимый для быстрого запуска их архитектур. 🔗 https://github.com/MoonshotAI/FlashKDA

В Go 1.27 завезли SIMD Двенадцать лет Go не умел в векторные инструкции без плясок с ассемблером. В 1.27 приехал портируемый пакет simd, и один исходник без единой правки разворачивается в Neon на Apple Silicon и AVX2 на Intel. Автор проверил обещание на двух машинах, полез в дизассемблер и наткнулся на странное. На Mac четыре полосы дали 4,2x, почти потолок. У i9 полос вдвое больше, восемь, а вышло ровно 5x. Куда делись ещё три икса? Разгадка неуютная для всех, кто верит в ширину регистра. Ту же половину выигрыша снимает обычный скаляр, без единой векторной инструкции, стоит завести четыре аккумулятора вручную. Ширина регистра тут вообще на втором плане.

Недавно нужно было оптимизировать скорость выполнения разных LLM задачек —> что сработало: 1) Переход на модели поменьше - с подкручиванием промптов, в том числе сократить/выключить reasoning. Кстати, идеальная задача для /goal команды: просите крутить промпты, пока не получите оптимальное соотношение скорости и качества 2) Сократить обьем output, а потом и input токенов - более компактная структура, выкидывание ненужного 3) У gemini есть настройка приоритета; но вызов тогда стоит в ~2 раза дороже 4) Анализ использования кэша —> фикс промптов и последовательности подачи контекста P.S. Классические вещи типа параллелизации запросов я не покрываю тут; здесь скорее llm specific вещи

Все лимиты и ресеты для Codex 200$ закончились. Рекорд - расход 2 недельных подписки за сутки (работа над RepoContextBench v2 ведется полным ходом). А Claude медленный, да еще и с лимитированным фейблом. В итоге, взял Грока за 300$ 100$ - говорят, там лимиты почти бесконечные и все очень быстро. Грок за 30$ мне понравился как по качеству, так и по скорости. Грока я использую в качестве исполнителя внутри OpenCode (возможно, перееду теперь на его нативный харнесс Grok Build) через свой скилл agents-consilium, его вызывает Codex App или Claude как субагента, поэтому получается очень удобно. Итого, сетап теперь такой: Планирует Fable или GPT-5.6 Sol high/xhigh Выполняет Grok 4.5 high Ревьят: Opus 4.8, GPT 5.6 Sol, GLM 5.2 и по итогу Fable. Позже добавлю Kimi K3 в ревьюеры и посмотрим еще на возможности релизной DeepSeek V4 Pro и Qwen 3.8. Есть еще темная лошадка SWE 1.7 от ребят из Devin - супер быстрый (на Cerebras чипах) и, судя по Frontier Code, с классными результатами. Если кто пробовал - отпишитесь. Еще, мне регулярно перестает хватать мощностей моего мака на комфортную разработку, поэтому планирую арендовать VMку и делегировать тяжелые задачи агента туда. Ах да, напоследок - лайфхак. Поскольку ручной сброс кодекс лимитов просто стартует новую неделю - получается, что выгоднее сразу после органического сброса как можно быстрее выжать лимиты, затем сделать ручной сброс, тогда вы за один и тот же помежуток времени сделаете больше работы нагенерите больше кода и, условно, в месячной подписке станет почти 6 полных недельных квот вместо 5-ти (без учета общих сбросах). Почему-то об этом никто не пишет. @ai_driven

Готово: https://www.facebook.com/share/p/1CrtgK7nnV/ - тут все детали по каждой оптимизации вынул 15 алгоритмов/структур данных и дал еще кучу оптимизаций. Уже все знают про Book to skill подход. А кто делал Book to SOTA/AI+Infra evolve? - дать ИИ изучить книгу и применить оттуда самые подходящие практики/советы и которые идеально в вашу систему/харнесс впишутся? Вот у меня пример с двумя книгами - классика computer science из которых за 5 минут выжало 15 гипотез, каждая из которых может дать минимум 2%+ оптимизации. С олимпиадных соревнований / курсов из школы/универа сразу вспомнил названия: - Префиксный Автомат Кнута-Морриса-Пратта (называли ласково КМП) - Автомат Ахо-Корасик (смеялся с названия) - Кучи Фибоначчи (помню в 2008/2009 гадали, а где реально в production это может использоваться) - Кодирование Хаффмана - Страничные Индексы B+ Деревьев - DFS Поиск в Глубину с Alpha-Beta Отсечением - Дерево Фенвика / Двоичное Индексированное Дерево // Привет моим преподавателям первого курса

⚡️ Снизили стоимость AI-оркестрации на -92.5% при росте точности до 97.8%: Разбор Архитектуры Monosnap SOTA v3.3 Пока большинство промптит единичные модели, мы перевели нашу мультиагентную систему на 4-уровневый Гибридный Спекулятивный Роутинг (Tier 0–3) + 5-слойную защиту контекста. 🛠 Как устроена система под капотом: 1️⃣ Черновой слой (Tier 0 SLM): Amazon Nova Micro ($0.035/1M) за 100мс делает триаж и черновой patch. 2️⃣ Кодирующий слой (Tier 1): Claude 3.7 Sonnet на AWS Bedrock. За счет выравнивания промптов по границам 4096t получаем 90% скидку на чтение кэша ($0.30/1M). 3️⃣ Совет Судей (Model Council): OpenAI GPT 5.6 (логика) + Google Gemini 3 Pro (визуальный UI) верифицируют черновик с конформным порогом (>= 0.70). 4️⃣ Защита Контекста: Вынос логов в SQLite FTS5 (SearchOS Lake) + офф-тред субагенты удерживают активное окно контекста на уровне 6–11% (18K-22K токенов) даже после 500+ шагов! 📊 Метрики бэктестов (N=500 прогонов): — Стоимость 500 задач: $0.0185 USD (vs $0.2475 baseline, -92.53% экономии) — Качество кодинга (Pass@1): 97.8% (vs 81.6% baseline, +16.1 п.п.) — Латентность: 2.12s (vs 6.84s baseline, -68.9% ускорения) — Статистическая значимость: Z = 95.70σ 🖼 В аттаче — подробные схемы архитектуры общего оркестратора, кэширующего прунера и би-темпоральной памяти CoALA. #AI Architecture #Agents #LLM #DevOps #SOTA2026

1/ Google Antigravity 2 IDE UI (Control Plane): Человек работает в привычном графическом интерфейсе IDE, ставит задачи, просматривает diffs и дает человеческое одобрение (Human Gatekeeper). Контекстное окно в UI остаётся минимальным, так как тяжелые логи не попадают в чат. 2/ Hybrid Orchestration Bridge (hybrid_orchestration_bridge.py): Запрос из UI транслируется во внешний Headless CLI Work Engine в виде неинтерактивной команды agy -p "task" --sandbox. 3/ Programmatic Context Control Engine (context_pruner_v2.py): Программно обрезает технический шум терминала, выставляет жесткие токеновые бакеты и дополняет префикс промпта до границы 4096 токенов (для >85% попаданий в KV-кэш). 4/ AWS Bedrock Tiered Gateway (aws_bedrock_router.py): • Простые интенты и ранжирование отправляет на копеечную модель Amazon Nova Micro ($0.035 / 1M токенов). • Сложный рефакторинг и кодинг отправляет на Claude Sonnet ($3.00 / 1M токенов) с использованием Bedrock Prompt Caching (90% скидка на чтение из кэша). 5/ 3-Слойная Память + SearchOS Lake + SEED Hindsight: • CoALA Memory: Записи штампуются метками времени (valid_at/invalid_at valid_at/invalid_at), предотвращая использование устаревших фактов. • SearchOS Lake: Перехватывает поисковые запросы субагентов в SQLite WAL mode, экономя 80–90% API расходов. • SEED Hindsight: Подмешивает извлеченные уроки прошлых ошибок, поднимая успешность первично сгенерированного кода до 95.9%. 6/ Возврат в UI: CLI возвращает в IDE UI строго типизированный контракт (CodeChangeV1), не раздувая историю диалога.

Модели и эффорт: шпаргалка для Claude Теперь 13:00 каждой среды для меня приобрели почти сакральный смысл. В этот час у меня всё начинается будто с чистого листа: бремя экономии сходит на нет, и я снова дышу полной грудью. Другими словами — у меня сбрасываются недельные лимиты в Клоде, и я опять фигачу что хочу и когда хочу, не заглядывая каждые пять минут, как бы по лимитам в нокаут не улететь. И вот эти качели с лимитами, где в начале недели живёшь на роскошном максимуме, а к среде уже ползешь на голодном минимуме, побудили меня разобраться: когда какую модель использовать, а главное какой «эффорт» врубать. Ниже шпаргалка и для меня, и для вас. Какую модель используем? 🔹 Haiku — модель-джун, которая вообще не про думать, а про то, чтобы выполнять много простых и рутинных операций. Нужно что-то разгрести, разложить по полкам, привести к форме или ответить на супербазовый вопрос — это к ней. Делает это и быстро, и дёшево, но и положиться в сложном, как на джуна, тоже не можешь. Окупается кратно там, где надо перелопатить сотню однотипных штук разом. 🔹 Sonnet — крепкий мидл и рабочая лошадка на каждый день. Берёт на себя процентов девяносто задач и тащит их сам, без присмотра: текст, разбор данных, код средней сложности, рабочую переписку — быстро и толково. Звёзд с неба не хватает, но по соотношению «сколько платишь / что получаешь» именно на нём всё и держится. 🔹 Opus — сеньор, которого зовёшь на тяжёлое: хитрую логику, большой код, стратегию — туда, где реально надо сесть и подумать. Тянет что угодно, но и берёт за это по-сеньорски — медленнее и дороже, так что к среде ты этот счёт почувствуешь. Сажать его на рутину — деньги на ветер, и так чаще всего бюджеты и сливают (сам так делаю). 🔹 Fable — звезда команды, вокруг которой хайп с самого релиза. И ценник звёздный, и отдача такая же. Меньше всех вам льстит: спокойно пойдёт спорить и покажет, где вы не правы и чего не учли. В неё есть смысл отправлять только стратегические и ценные задачи, где цена ошибки высокая. Какой уровень эффорта выставляем? 1️⃣ Low — отвечает не включая голову, на рефлексе. Для того, что и так очевидно: подрезать текст, глянуть мелочь. На сложном тут же поплывёт, зато лимита почти не ест. 2️⃣ Medium — уже думает, но в себя не уходит. Мой дефолт по жизни: девять задач из десяти закрываются прямо здесь, и лимиты целы. 3️⃣ High — врубаю, когда с наскока не берётся и надо реально повзвешивать: распутать логику, увязать концы, не растерять детали. Дольше и дороже, зато ответ на голову ценнее. 4️⃣ Extra — тот же High, только на стероидах, для совсем зубодробительного. Разницу ловишь не каждый день, но на заковыристом она есть. 5️⃣ Max — думает до упора, на всю катушку. Копает долго и лимит выжигает будь здоров, но там, где цена ошибки кусается, оно того стоит. 6️⃣ Ultracode — вообще другая лига. Тут уже поднимается целая бригада, задачу рвут на куски и молотят разом, параллельно. Заход для по-настоящему крупного — на повседневной мелочи это из пушки по воробьям (и по лимиту так же). Мощность модели и глубина эффорта не складываются, а перемножаются. Opus на максимуме ради правки запятой — это как подогнать бетономешалку размешать стакан чая. За правило взял для себя: по умолчанию живу на Sonnet со средним, а по мере роста сложности — двигаюсь в сторону увеличения. А вы насколько эффективно жжёте свои токены? Константин Сухачев