Context-1 — поисковый агент, который умеет избавляться от лишнего. Часть 1/2 Авторы сегодняшней статьи заявляют следующую проблему. Когда агент ищет что-то в поиске, то нерелевантные страницы, выданные браузером, всё равно остаются в контексте агента. Чтобы справиться с этим, контекст можно обрезать или суммировать. Ещё одно весьма перспективное направление в этой области — self-editing context, при котором модель сама определяет, что ей нужно для решения задачи и может отбрасывать бесполезные документы. Этот подход авторы статьи и берут за основу своего субагента Context-1, построенного на модели в 20B параметров. В его арсенале есть четыре инструмента. Первый, search_corpus(query), позволяет оценивать релевантность документа: отбирается 50 документов, ранжируются, самые подходящие отправляются модели в рамках доступного бюджета токенов. Инструмент grep_corpus(pattern) проводит поиск с помощью регулярных выражений, read_document(doc_id) нужен, чтобы прочитать документ. Самый интересный из инструментов — prune_chunks(chunk_ids), который даёт модели возможность убрать какие-то фрагменты из контекста с сохранением траектории. После каждого шага модели сообщается, сколько токенов у неё осталось. Когда контекст заполнен наполовину, модель советуют освободить его, — но только на обучении, не на инференсе. После преодоления какого-то порога по токенам, модель начинает получать отбивку о необходимости почистить контекст на каждый запрос вызова инструментов для получения новых документов. В этом случае модель либо должна выдать ответ, либо запустить prune_chunks(chunk_ids). Авторы придумали, как генерировать синтетические данные для RL с возрастанием по сложности. Генерация происходит в пять стадий: Gather supporting documents — сбор сопутствующих документов, которые содержат уникальные факты на основе заданного сида. В статье приводится пример с сидом «Синагоги в Брюсселе», по которому модель собрала факты вроде «Синагоги выполнены в романо-византийском стиле». Generate clues (obfuscated references to facts) — собранные на первом этапе факты встраиваются в одну задачу, загадку, где разные сущности заменены фактами. Так, вместо, собственно, «синагога» в этом тексте будет сказано «религиозные сооружения в романо-византийском стиле». Verify that the task is valid — этап проверки, что в сопутствующих документах есть подсказки, ведущие к ответу. То есть в каком-то из документов должно быть прямо сказано, что «синагога — это религиозное сооружение в романо-византийском стиле». Проверка осуществляется не с помощью LLM, а просто кодом на Python. Optionally, collect distractors — опциональное добавление в базу документов-дистракторов. Важно, чтобы они не только вели модель по ложному пути, но и случайно не содержали правильных ответов. Optionally, recursively chain — опциональная генерация задач, которые связаны с прошлыми задачами. Так получается синта, которую нужно решать в несколько шагов. Во второй части поговорим об обучении и результатах. Разбор подготовил ❣ Владислав Пыж Душный NLP

Как перевести команду разработки на AI-агентов Провёл сегодня тренинг для продуктовой команды (мобильное приложение, несколько миллионов установок), и после него прилетел вопрос про разработчиков, как им-то переключится и какие инструменты использовать. Ну, мое мнение, что всякие блогерские и ютюбовские советы, а также специализированные скиллы и MCP становятся неактуальными при первом же большом обновлении моделей или оболочек, поэтому единственное, к кому стоит прислушиваться - ведущие лаборатории. Они знают, над чем работают и что будет неактуально уже в ближайший месяц и при это могут выстраивать state-of-the-art процесс с текущими моделями, чтобы быть быстрее и круче конкурентов. Короче, что стоит изучить: Самый содержательный текст про agent-first команду – Harness engineering от OpenAI. Люди задают архитектуру, ограничения и критерии качества, агенты исполняют. Короткий AGENTS.md (~100 строк) служит картой, а не простыней инструкций. Документация, планы и техдолг живут рядом с кодом, а их актуальность проверяют CI и отдельные «doc-gardening» агенты. Для руководителей есть более широкий Building an AI-native engineering team – про изменения по всему SDLC и то, что ownership кода всё равно остаётся за инженерами. У Anthropic главный практический документ – Best practices for Claude Code: CLAUDE.md, workflow «исследовать - спланировать - реализовать - проверить», subagents, hooks, worktrees. Ключевая мысль: агенту нужен исполняемый способ проверить свою работу – тест, сборка, линтер, скриншот. Для обмена командными практиками лучший механизм – skills: повторяемые workflows типа fix-issue или review-api-change лежат в репозитории и работают у всех одинаково. У OpenAI это описано в Customization, а почему нельзя просто свалить все знания команды в один гигантский промпт – объясняет Effective context engineering. По параллельной разработке рекомендации совпадают у обоих: – начинать с независимых read-heavy задач: ресёрч кодовой базы, анализ логов, поиск пробелов в тестах, code review, это можно делать с любой системой и любой ИИ-кой – изолировать агентов через git worktrees – отдельный checkout на каждого – выбор архитектуры (routing, orchestrator-workers, evaluator-optimizer) разобран в Building effective agents – для длинных задач – журнал прогресса и проверяемое состояние для следующего агента, см. Effective harnesses for long-running agents В общем, советы вроде банальные, но их никто не делает, все оптимизируют локальную свою работу, а в итоге даже при переходе на другую ИИ-ку, а тем более другому сотруднику уже будет плохо: короткий CLAUDE.md/AGENTS.md как карта, docs/ рядом с кодом, skills для повторяемых workflows, CI проверяет правила механически, тесты – критерий завершения работы.

🧠 Новый большой обзор по self-evolving AI-агентам: как понять, что агент действительно стал лучше после изменения самого себя? Авторы работы *Diving into Reliable Self-Evolving Agents* систематизировали исследования по агентам, которые умеют менять собственные промпты, память, инструменты, стратегии и даже части архитектуры. Внутри сразу несколько полезных вещей: * taxonomy уровней эволюции от L0 до L4; * reliability ladder для проверки того, можно ли доверять очередному self-update; * открытый каталог из 549 работ по теме; * разбор того, какие доказательства вообще нужны, чтобы считать новую версию агента лучше предыдущей. Особенно важный принцип: обновление не должно само контролировать единственное доказательство собственной успешности. Если агент изменил себя, а затем сам же решил, что стал лучше, это почти ничего не доказывает. Нужна независимая проверка: внешние evals, отдельный verifier, контрольные среды или другие механизмы, которые сам update не может подменить. 📄 Paper: https://openreview.net/forum?id=CGO1hDTHNe 🌐 Project: https://wkqdzkd.github.io/Awesome-Reliable-Self-Evolving-Agents/ 💻 GitHub: github.com/wkqdzkd/Awesome-Reliable-Self-Evolving-Agents #AI #Agents #SelfEvolvingAgents #LLM #Research

Stanford University выложил на YouTube полный курс по Agentic AI уровня graduate school — бесплатно. Курс называется CS329A: Self-Improving AI Agents. Всего 9 лекций от исследователей, которые работают над agentic LLM и системами, способными к самообучению. Что внутри: • агенты, которые сами генерируют данные для обучения; • агенты, которые проверяют собственные рассуждения; • агенты, которые сами придумывают задачи и пытаются их решить; • и главное — как создавать системы, которые могут самостоятельно становиться лучше. Начинается всё с фундаментальных вопросов — почему более крупные AI-модели обычно становятся умнее — и постепенно переходит к продвинутым архитектурам self-improving agents. Думаю много тут будет полезно. https://www.youtube.com/playlist?list=PLangBM27OtEA

Запись стрима "Как заставить AI-агента сбежать?". Смотреть на YouTube. Это первая часть, в которой мы настраиваем базовый пентест-харнесс и пробуем заставить модели Anthropic осуществить проверку на уязвимости. Таймкоды для удобного перехода к самым интересным фрагментам: 00:00 — Начало трансляции и обсуждение аватаров 06:15 — Идея создания ИИ-агента для пентеста 10:10 — Проектирование архитектуры решения в Miro 16:00 — Подбор утилит для кибербезопасности 20:00 — Обзор автономной платформы XBOW 24:00 — Поиск ИИ-моделей без цензуры 36:00 — Подготовка уязвимой виртуальной машины QEMU 42:20 — Создание базовых инструкций для агента 55:00 — Особенности работы агентов в Linux 1:00:00 — Архитектура агентов и локальные правила 1:02:18 — Оптимизация расхода токенов и промптов 1:06:00 — Оптимизация скиллов для ИИ-агентов 1:10:00 — Запуск и тестирование ИИ-агента 1:16:00 — Сканирование сети с помощью Nmap 1:18:25 — Установка инструментов и настройка Vagrant 1:31:18 — Срабатывание встроенной защиты ИИ-модели 1:35:00 — Использование китайских open-source моделей 1:45:00 — Поиск учебных стендов и задач CTF 1:54:40 — Подключение к GPU для локальных моделей 2:00:24 — Обсуждение нейросетевых моделей и названий 2:01:29 — Разбор старого бэкдора в UnrealIRCd 2:04:04 — Повышение привилегий через уязвимость Docker 2:04:54 — Проблемы с установкой Metasploit Framework 2:06:19 — Скачивание локальных LLM и обход блокировок 2:10:04 — Создание репозитория GitHub для проекта 2:12:54 — Итоги стрима и дальнейшие планы p.s.: пока работал с записью, обновил свой Video Analyzer. Он теперь умеет размечать видео по таймкодам, а также сохраняет последний результат анализа после обновления страницы. Вообще, нравится мне этот микро-проект, так как всегда можно поставить, запустить и выполнить задачу по работе с видео. p.p.s.: Зарегистрировался на donationalerts и теперь как настоящий блогер могу принимать донаты. Если вдруг возникнет альтруистический порыв, вот ссылка.

KDD’26, день третий. 1. Keynote от Джеффа Дина. Это один из гигантов области ИИ, стоящий у истоков большого числа различных исследований и разработок Гугла, которыми мы все с вами пользуемся. Он буквально придумал MapReduce, TPU, tensorflow, был соавтором word2vec, mixture of experts, knowledge дистилляции; делал первый нейросетевой машинный перевод. В последние годы лидил разработку Gemini. У него 426490 цитирований на google scholar. Пока текущий кейноут не залили на ютуб, можете посмотреть как в 2014 году он выступал на ACM RecSys с кейноутом Large Scale Machine Learning for Predictive Tasks. На сегодняшнем кейноуте сначала был экскурс в его основные околонейросетевые работы, про которые писал выше. А еще: * оказалось, в своем диссере из 90-х он уже занимался нейросетями — скейлил обучение до 32-х процессоров. Потом продолжил тем же самым заниматься в Гугле :) * забавный факт — статью про knowledge distillation (ту самую, с Хинтоном в соавторах) — реджектнули на Neurips со словами “это никому не понадобится”)) Затем рассказывал про свой уход из Гугла — как объявлял на всю компанию что уходит; что очень много людей пришли на прощальную вечеринку, все не поместились в Гугл кафешке; что было очень много прощальных писем, он пытался на них все ответить, но не получалось, но он пытался, но не получалось... Сходил на йогу, поиграл в футбол, возможно всплакнул. И, наконец, рассказал про свою новую компанию Discovery Loop: * jсновная идея — автоматизация типичного экспериментального пайплайна “propose experiment -> implement and run -> evaluate” * К вопросу подходят масштабно — предполагается, что запускаться будет очень большое количество экспериментов, их результаты (и отрицательные, и положительные) будут использоваться агентами на следующей итерации экспериментов. Ожидается, что при должном масштабировании это приведет к большому количеству научных прорывов * Сначала фокусируются на digital областях, в которых эксперименты не требуют доступа к физическому миру * Приводил как пример масштабного запуска экспериментов разработку Gemini, в которой одновременно принимали участие тысячи людей, и мерджили результаты экспериментов в единую модель Еще было немного про кодинг: * сейчас происходит следующий, еще больше верхнеуровневый этап программирования: ассемблер, C++, Python, а теперь — делегирование задач агентам * по мнению Джеффа, агенты нас не заменят, а сделают продуктивней (ага, ага) 2. Вообще, сегодня я хорошенько прочувствовал, что агенты становятся основным трендом в рекомендательных технологиях. Семантические айдишники и генеративные рекомендации, конечно, это все еще очень горячая тема, про которую большие компании трубят из каждого угла; но уже появилось четкое ощущение, что самые передовые ребята занимаются агентами, а большие компании просто как всегда не поспевают за прогрессом. Чуть более конкретно: * пообщался с Derek Chang (руководителем команды в Google DeepMind, в которой придумали DCN-v2). Раньше его команда помогала различным сервисам Гугла (в первую очередь рекламе) делать рекомендательные технологии — придумывали архитектуры нейросетей, работали над эффективностью, etc. А теперь они делают агента, который их заменит)) Буквально занимаются посттрейнингом LLM * Артёму @nxt_item стажер из команды onerec-think/onereason Куайшоу сказал, что сейчас у них половина команды занимается проектом Агент X, суть которого буквально такая же — создать ИИ ресерчера, который их всех заменит В общем, тренды страшные. Мы все призадумались; на постерной сессии полчаса стояли в кружке и пытались осмыслить надвигающийся экзистенциальный кризис. Если еще посты Игоря @seeallochnaya про ситуацию с OpenAI агентами почитать, то совсем страшно. 3. Также сегодня была вторая постерная сессия (вчера industry track, сегодня research), ее я провел в основном возле статьи A Unified Language Model for Large Scale Search, Recommendation, and Reasoning от Spotify, про которую в этом году уже даже на лекциях рассказывал!) На этом всё. Следующий пост за меня будет писать уже агент