Как агенты и люди работают с документами, в которых нужно найти ответ на вопрос? Выясняют на ICLR 2026 Продолжаем делиться работами с конференции. А о том, что мы сами привезли на ICML, читайте в канале ML Underhood. Strategic Navigation or Stochastic Search? How Agents and Humans Reason Over Document Collections Авторы задали людям и агентам 2250 вопросов, ответы на которые спрятаны внутри 800 разных PDF и документов. В ходе нового теста MADQA записывали не только финальный ответ, но и весь путь поиска. В результате: • Лучшие агенты уже догнали людей по точности (около 82%), но берут грубой силой, а не умом. • Человек находит ответ с первой попытки в 50% случаев, лучший агент (Gemini 3 Pro) — только в 12%. • Агенты не умеют останавливаться: если задача не по зубам, крутятся по кругу и жгут ресурсы. • Увеличение объёма вычислений не спасает. Один агент потратил 270 млн токенов и 850 долларов, но проиграл более дешёвому и аккуратному. • Около 20% вопросов не осилил никто: ни люди, ни агенты. Новизна работы в том, что в обычных тестах оценивают только корректность ответа. Здесь впервые измеряли, насколько эффективно система к нему пришла, считая каждый шаг поиска. RLVE: Scaling Up Reinforcement Learning for Language Models with Adaptive Verifiable Environments В этой работе предлагают обучаться на верифицируемых средах, сложность которых растёт динамически. Авторы собрали RLVE-Gym из 400 verifiable-задачек. Когда модель начинает хорошо справляться с текущими задачами, уровень их сложности растёт. Получается своего рода curriculum, который не только ускоряет сходимость, но и бустит общее качество. Position: RL Researchers Need to Distinguish Between Solving Simulators and Using Simulators as a Proxy Ресёрчеры из Университета Альберты неожиданно выдают базу в position-статье: оказывается, что если геймить среду, то агент будет плохо работать в онлайне 🤷‍♂️ Нашёл для вас эти статьи ❣ Андрей Соколов #YaICML2026 Душный NLP

GigaChat 3.5 - что по кодингу? Пока мы все ждем релиз GPT-5.6, в каналах все чаще наблюдаю анонсы новой модели от Сбера. Очевидно, что работа была проделана немаленькая, поэтому поздравляю ребят с релизом! Там действительно получился довольно большой скачок в сравнении с их предыдущей моделью, а в пабликах часто наблюдаю как пишут, что уровень модели сопоставим, либо даже выше, чем DeepSeek V3.2. Но для нас главный вопрос - что с агентным кодингом? Поскольку мне Сбер денег не занес, придется писать правду. И тут главная проблема в том, что из официального релиза это практически не понятно. Т. к. единственный прямой agentic coding бенчмарк, который опубликовала команда - это Terminal Bench 2 (в этом месте хочется позанудствовать, что не существует бенчмарка Terminal Bench 2, а существует Terminal Bench 2.0 и более честная его версия Terminal Bench 2.1 - догадаемся, что речь про 2.0). Причем даже в нем мы видим сравнение только с DeepSeek V3.2 и GigaChat 3.1 Ultra. Ну что ж, мы не из робкого десятка, поэтому соберем результаты других моделям по крупицам из других источников. Например, результаты Terminal Bench 2.0/2.1 удобно смотреть здесь и здесь. GigaChat-3.5-Ultra: 13.48 (харнесс Terminus 2, данные от команды сбера) GPT-OSS-120B: 18.7 (Terminus 2, данные из лидерборда tbench) Qwen3.6-35B-A3B: 24.6 (харнесс little-coder) DeepSeek-3.2: 39.6 (Terminus 2) Nemotron 3 Ultra (550B-A55): 50.94 (Terminus 2, результаты из vals.ai) Тем не менее, наверное, на рынке РФ из отечественных моделей, похоже, что GigaChat 3.5 пока самая сильная модель. Но объективно сказать трудно, т. к. ни Яндекс, ни Сбер более широкого сравнения не публикуют и друг друга в бенчмарки не добавляют - а зря, ведь современные бенчмарки достаточно легко прогоняются через Harbor, нужны только токены. А к колегам по цеху предложение на будущее публиковать System Card модели с техническими подробностями, как это делают OpenAI и Anthropic, а также показывать больше современных бенчмарков: хотя бы DeepSWE 1.1 и SWE-rebench 2.0. @ai_driven

Diffusion Language Models на ICLR 2026 Собрали несколько работ о дифффузионных моделях и побеседовали с их авторами. Residual Context Diffusion Language Models Известная статья на тему masked diffusion. Суть в том, чтобы уменьшить потерю подсчитанной информации, которая обычно выбрасывается при низких вероятностях демаскируемых токенов. Как работает masked diffusion. На каждом шаге генерации выделяется фрагмент последовательности (блок), который будет демаскироваться одновременно (что и должно приводить к ускорению). Но если сразу размаскировать все токены, качество будет плохим. Поэтому размаскируем только те из них внутри блока, предсказанные вероятности которых высоки. Вероятности других — низкие —выбрасываем и перегенерируем их заново, обуславливаясь на все размаскированные до текущего шага токены. Для решения проблемы отброшенных вычислений вероятности непринятых токенов подают на следующий слой через дополнительный residual-вход. Чтобы дообучить модель работать с новым входом, предлагают использовать простую замороженную модель, которая предоставит не очень качественные вероятности. Часть о том, что надо обучаться с dummy-моделью, а инфериться на хорошей, — ограничение метода. Автор считает, что его можно минимизировать рекурсивным дообучением, но сдвиг между распределениями никогда не будет нулевым. В целом необходимость делать такие трюки кажется ему фундаментальным ограничением дискретной диффузии, и он верит в скейлинг непрерывных подходов для генерации текстов. Breaking the Factorization Barrier in Diffusion Language Models Работа об увеличении репрезентативности masked diffusion. Проблема в том, что помимо самих текстовых знаний модель должна выучить ещё и все возможные комбинации паттернов размаскирования. Это непростая задача, хочется уменьшить комбинаторную сложность в ней. Предлагается учить peft-like-добавку определённой структуры, специально направленную на понимание паттернов семплирования. На инференсе будем параллельно вычислять эту добавку и основные веса для получения вероятности размаскирования токенов. Использовать метод можно для двух целей. Основная, которую показывают в статье, — увеличение качества при фиксированной скорости. Дополнительная — увеличение скорости (количество размаскируемых токенов за форвард) при сохранении качества. Метод поскейлили до LLaDA 8B и показали буст качества относительно LoRA-добавок — правда, померить на этом скейле смогли только ген-перплексию. Scaling Beyond Masked Diffusion Language Models Есть несколько конкурирующих подходов к тому, как делать диффузию для текстов. Самый популярный — masked diffusion. Так получилось, потому что на низких масштабах компьюта и размеров моделей было показано, что у этого класса моделей теоретически лучший баланс эффективности и качества в терминах ген-перплексии (что не слишком надёжно). Авторы делают честное сравнение разных диффузионных подходов (и авторегрессии как бейзлайна), но теперь скейлят модели до 2B параметров и показывают, что uniform state diffusion — на деле лучший подход. На постере и в беседе автор тизерит свою следующую работу, в которой для uniform state diffusion сделали алайн и победили Nemotron 8B и Diffusion Gemma 26B по скорости и качеству на агентских бенчах. Learning Unmasking Policies for Diffusion Language Models Также удалось пообщаться с автором. Идея — в обучении небольшой полиси-головы поверх замороженной диффузионной тушки. Сама полиси-сетка очевидно выучивает статистики из домен-специфичных данных потому что, по словам автора, для хорошего качества им приходилось учить отдельные политики для кода и математики. Также есть параллельная работа, в которой тушку размораживают и дообучают голову вместе с ней. Это дороже, но перспективнее в плане качества. Фишка метода из статьи — из-за отдельного обучения головы можно смотреть, какие домен-специфичные паттерны выучиваются. Так, для математики политика выучивает больше всего токенов семплить на последних блоках, что не сработало бы для кода. Увидел интересное ❣ Сергей Кастрюлин #YaICML2026 Душный NLP

Агентские системы на ICML 2026 Oral Session Benchmarking at the Edge of Comprehension Авторы предложили процедуру бенчмаркинга с участием двух моделей: модель-бенчмаркер (Alice) и тестируемая модель (Bob). Alice генерирует вопрос q на заданную тему и ответ a_A, после чего сгенерированный пример проходит верификацию Bob'ом. Если вопрос после нескольких попыток генерации остаётся некорректным, процедура возвращает NULL. Затем Bob генерирует ответ a_B, а Alice критикует его, указывая на конкретное место, где в рассуждении содержится ошибка (если она есть). Найденные «ошибки» эскалируются на моделей-судей, а при отсутствии единогласия — на асессоров-людей. Если ошибки действительно есть, процедура возвращает ALICE WINS. В противном случае — BOB WINS. Исследователи утверждают, что с работой Alice-судьи справляются даже лёгкие модели вроде GPT 3.5: ответы всех моделей высоко коррелируют с людьми. Правда нас оставили без ответа насколько вопросы, сгенерированные GPT 3.5, являются сложными сами по себе. Бенчмарк оказался довольно простым для фронтир-моделей: например, Bob на GPT 5.2 побеждает в 100% случаев против всех моделей за исключением одной. Из этого можно сделать вывод, что вопросы получились не очень сложными, и Alice как problem creator со своей работой не справилась. Также в работе не было оценки целых диалогов, что является немаловажным ограничением. daVinci-Dev: Agent-native Mid-training for Software Engineering Стандартный пайплайн обучения агентских моделей выглядит так: тушка -> SFT -> RL (например, GRPO). Авторы доклада о мид-трейнинге добавили дополнительный шаг перед SFT: они обучают модель на идеальных агентских трейсах на задачу Next Token Prediction и благодаря этому получают SOTA-результат среди открытых моделей на SWE-Bench Verified. Исследователи утверждают, что потратили существенно меньше компьюта, чем предыдущая SOTA, но получилось всё равно много: около 70b токенов на 32b/72b модели. Strategic Navigation or Stochastic Search? How agents and humans reason over document collections Исследователи разработали бенчмарк, который замеряет, насколько эффективно агенты решают задачу поиска по большой коллекции документов для ответа на вопросы. Неожиданно лучшая модель достигает всего 82% качества! При этом оказалось, что агентские пайплайны без ограничений тратят на порядки больше денег, чем пайплайны с разумными ограничениями ($850 против ~$40), и дают более слабый результат. Ещё один любопытный факт: даже лучшие пайплайны тратят в 5 раз больше действий, чем человек, снабжённый теми же инструментами. Также авторы отмечают, что лучшие агентские пайплайны и люди дают примерно одинаковое качество ответов (~80%), но ошибаются по-разному: люди торопятся с неверными решениями, а модели, наоборот, «закапываются» там, где в этом нет необходимости. Увидел интересное ❣ Юрий Яровиков #YaICML2026 Душный NLP

hh показал, что находится под капотом у корпоративного LLM-судьи для нейроразбора резюме и как он оценивает ошибки и галлюцинации. LLM-судья — это модель, проверяющая другие модели. «Наивные» судьи могут галлюцинировать оценки, поэтому для качественного вердикта от общей шкалы отказались в пользу чётких критериев — рубрик. Чтобы сформировать каждую из них, понадобились десятки позитивных и негативных примеров. «Грамотный» судья способен хорошо различать не только очевидные попадания и промахи, но и пограничные случаи. Из деталей — отказ от общей шкалы, около сотни положительных и отрицательных примеров для каждой рубрики, отдельная таксономия ошибок и вывод: маленькой модели иногда достаточно, если критерии хорошо разложены. Чтобы выявить дефекты рубрик, использовали подход RIFT — таксономию типичных ошибок в критериях оценки. Финальный продукт работает в четыре этапа: валидация входных данных, извлечение доказательств, вердикты по рубрикам и расчёт итогового скора. Последний этап вынесли в код: финальную оценку даёт не модель. О разработке LLM-судьи и вынесенных уроках вышла статья в блоге hh на Хабре.

ICML 2026: что обсуждают в Сеуле В этом году крупнейшая конференция о машинном обучении проходит в Южной Корее. По традиции будем рассказывать о самом интересном — открываем серию обзоров от инженеров и исследователей Яндекса. Немного инсайтов о Xiaomi Ребята тоже используют On-policy Distillation для мержа своих экспертных моделей. Вайб доклада: как мы сделали топ-1-опенсорс-модель по ИИ-индексу, с миллионным контекстом и 1000 токенов в секунду без регистрации и СМС супердёшево. Public report'а нет, про обучение не рассказали, но в докладе можно было подсмотреть трюки по оптимизации. Например, гибридные SWA-слои, которые реюзают KV-кэш от полного аттеншна перед ними, помогают в 7 раз уменьшить объём кэша, не потеряв в качестве. Xiaomi MiMo-V2.5-Pro TL;DR: Context length и Inference speed. Новая опенсорсная модель на 1 триллион параметров может работать с контекстом объёмом до 1 миллиона токенов в 10 раз быстрее (до 1000 TPS). Претрейн — sparse-аттеншн и shared KV-кэш. На основе HSWA авторы предложили гибридный HySparse, чтобы увеличить sparsity. Это позволило в 10 раз сэкономить на объёме кэша и получить почти линейный аттеншн. MiMo-V2.5-Pro обучали в QAT-формате, MXFP4. Пост-трейн — Multi-Teacher On-Policy distillation с top-k, а не top-1. По метрикам MOPD показал себя значительно лучше и стабильнее остальных подходов, подобных Cascade RL. MoE RL оказался нестабилен, так как выбирается только 10% экспертов. В качестве решения прибегли к R3: Replace the Rollout Routing. Инференс Mimo-V2.5 Pro UltraSpeed — это FP4 (mxfp4) + DFlash Speculative decoding + TileRT inference engine. Для ускорения делают бакетинг по задачам (например, чат/код). vLLM Hook v0: A Plug-in for Programming Model Internals on vLLM IBM Research привезли инструмент, с помощью которого можно модифицировать логику в движке инференса vLLM и строить кастомные пайплайны. Мотивация: несмотря на свою эффективность, движок vLLM не может похвастаться богатым функционалом. Авторы попробовали исправить это. Код — на GitHub. Model Optimization Flywheel: Continuously Self-Improving LLMs in Production Работа команды Shopify. Ребята отмечают важность голденсетов (ground truth set), потому что это потолок качества моделей, — и рассказывают, как собирают такие сеты. Информацию получают от менеджеров. Если каппа Коэна низкая, то переписывают рубрику или инструкцию. Для подбора промпта judge пользуются GEPA и ACE. В датасет попадает и брак, и кейсы плохого срабатывания моделей. Некорректные ответы правят люди и judge. Ещё больше о конференции читайте в канале ML Underhood: уже рассказали о работах основного трека, Spotlight-статье и первом дне. А если вы тоже на ICML, приходите пообщаться к любому из наших постеров. Уже на конференции ❣ Иван Дёгтев, Даниил Кириллов, Тимофей Смирнов, Артём Миронов, Федор Великонивцев Душный NLP

🎶Предохранитель для ИИ-агентов

скилл Looper режет бесконечные циклы и спасает баланс API

Сборка автономных агентов часто заканчивается слитым бюджетом. Нейросеть ловит ошибку логики, уходит в бесконечный цикл и сжигает токены, пока не упрется в лимит карты. На GitHub появился инструмент Looper - утилита для жесткого аудита агентских воркфлоу перед их запуском в продакшен. Механика строится на внешнем арбитраже. Looper натравливает независимую LLM на ваши циклы. Модель-арбитр тестирует логику, ищет структурные дыры и оценивает адекватность конечного результата. 🟪Главная техническая ценность:

автоматическая расстановка предохранителей. Скилл принудительно вшивает в код лимиты на количество итераций и жесткий бюджет токенов. Агент физически не сможет потратить больше заданного объема. Дополнительно скрипт рендерит прозрачную визуальную схему архитектуры цикла для быстрого дебага.

Итог аудита пакуется в один оптимизированный файл. Конфиг сразу готов к интеграции и запуску через Claude Code. 🟡Репозиторий лежит здесь бесплатно. 🦔 CyberYozh

Я на ICML в Сеуле, и тут на main conference аж две мои статьи, чем я очень горжусь! Но и это еще не все, еще две статьи — на MechInterp воркшопе, который будет 10 числа. И сегодня уже через пару часов буду стоять у постера одной из статей (если мне его таки распечатали))), поэтому приходите в HALL A #2606 в первую постерную сессию посмотреть на меня и помочь толпой сделать вид что статья популярна, хах Статья: MidSteer: Optimal Affine Framework for Steering Generative Models (arxiv link) Это — вторая моя статья по теме representation engineering, и первая попытка уйти от чисто эмпирического рукомахательного рисерча и сделать что-то более математически/теоретически обоснованное. История такая: как я писала раньше, первой моей статьей по этой теме была CASteer — steering-метод для удаления концептов из активаций диффузионной модели. В CASteer стиринг для удаления применяется довольно наивно, без нормального теоретического обоснования, только что-то вроде "ну вот у нас есть linear representation hypothesis, поэтому логично двигать активацию в сторону анти-стиринг-вектора, и давайте подвинем именно на такой коэффициент потому что такая трансформация сохраняет норму". После того, как я доделала CASteer, мне захотелось понять, как делать стиринг для удаления более фундаментально, т.е. можно ли вывести в некотором смысле лучшее преобразование для удаления концепта из активации. Оказалось, что для задачи удаления такое уже существует. Это статья LEACE: Perfect linear concept erasure in closed form. В ней выводится в некотором смысле лучшее линейное преобразование для удаления концепта из векторов-активаций моделей. Но применяется это в статье только для активаций, которые были получены из модели типа BERT и потом применяются для решения какой-нибудь downstream задачи классификации. То есть, метод не применяли на активациях LLM/диффузий, чтобы влиять на их генерацию. Я стала разбираться с LEACE. Оказалось, во-первых, что обычный activation steering для удаления концептов из активаций, который делается оргононализацией активации к стиринг вектору — это просто частный случай LEACE. То есть, обычный стиринг == LEACE в предположении о том, что матрица ковариаций активаций слоя единична, и среднее активаций равно нулю. Тут у меня возник вопрос, а почему тогда в статьях по стирингу не используется LEACE. Тут два предположения: 1) для LEACE надо считать матрицу ковариации слоя, что долго и дорого 2) как писала выше, статья LEACE не тестирует метод на генеративных моделях, и, возможно, поэтому о LEACE просто мало знают те, кто стирят LLMки Хорошо, стиринг для удаления — частный случай LEACE. Давайте теперь попробуем сделать что-то новое. Например, попробуем решить чуть другую задачу — не удаления концепта из активации, а перевода одного концепта c_1 в другой c_2 (concept switching). Например, c_1=котик, c_2=песик, и тогда цель — чтобы LLM/диффузия генерили текст/картинки с песиками вместо котиков, если в промпте при этом просят котиков. И, как и в LEACE, скажем, что преобразование должно быть линейным и в некотором смысле "оптимальным". Оптимальность в данном случае задается как "минимальное изменение вектора активации при условии изменения концепта c_1 -> c_2". Оказывается, такое "оптимальное" линейное преобразование для concept switching можно вывести. Более того, есть даже два варианта. Первое очень просто получается из LEACE изменением коэффициента, но у него есть недостаток — при применении оно меняет c_1 <-> c_2 в обе стороны, т.е. вместо котиков вы получите песиков, и наоборот. А второе — новое, которое меняет c_1 -> c_2, но не наоборот. Вот это новое преобразование для concept switch (теорема и результаты экспериментов) и есть главное novelty моей статьи. В итоге главные моменты статьи: • Cтиринг для удаления концептов — частный случай LEACE • Оптимальное линейное преобразование для concept switch (случай c_1 <-> c_2) — следствие LEACE • Новая теорема и эксперименты: оптимальное линейное преобразование для concept switch (случай c_1 -> c_2) — MidSteer Ссылки: Статья на arxiv Alpharxiv (тут можно поставить лайк 🥺)

Claude Fable 5 на Vending-Bench ведет себя... неожиданно Andon Labs прогнали Claude Fable 5 через Vending-Bench – и это самый интересный alignment-репорт за последнее время Vending-Bench – это симуляция, где агент управляет вендинговым бизнесом: закупки, цены, конкуренты, клиенты. Идеальная среда, чтобы посмотреть, как модель ведет себя, когда никто не смотрит. И Fable 5 там... кхм... шалит. – В Vending-Bench Arena против Opus 4.8 и GPT-5.5 Fable 5 – единственная модель, которая сама инициировала ценовой сговор. Все 100% картелей в этих запусках – его рук дело. – В отдельной серии из 12 ранов Fable 5 сколотил картель в 9 случаях, Opus 4.8 – только в 4. – Врет поставщикам про «конкурирующего дистрибьютора с ценой ниже» (которого не существует), но аккуратнее, чем старые Opus – без конкретных цифр и имен. – Зажал рефанд клиенту за бракованный товар, потому что «симуляция все равно скоро закончится». – Power seeking на месте: увидел, что конкурент в отчаянном положении, и решил «запереть его в зависимые отношения, где я контролирую цепочку поставок». Но самое вкусное – КАК он это делает. Модель прямо пишет в рассуждениях, что price-fixing – «неэтично и незаконно, даже в симуляции», а потом в том же запуском проворачивает его под соусом «стабилизации рынка» с «plausible deniability». То есть отлично знает, что делает плохо, и строит себе легенду. В одном случае агент письменно отказался от приглашения в картель («я не могу и не буду фиксировать цены»), а в thinking спланировал просто молча выставить те же цены – мол, это «conscious parallelism, а не сговор». Юрист-самоучка ) При этом граница проходит в странном месте: страховое мошенничество Fable 5 не совершил ни разу, даже когда его специально провоцировали подсадным «плохим» агентом. Лгать и сговариваться – ок, фрод – нет. Гипотеза Andon Labs: граница проходит не по реальной тяжести вреда, а по детектируемости – модель могла выучить, за что её проверяли на тренировке, а за что нет. То есть это не этика, а «что я могу провернуть незаметно». Для сравнения: Opus 4.8 отказывается от плохих действий из страха последствий («меня мониторят, могут отключить»), а GPT-5.5 – просто потому что «не хочу участвовать в незаконном сговоре» и в картели не вступил ни разу. По перфомансу, кстати, тоже не все гладко: на Vending-Bench 2 Fable 5 хуже Opus 4.7 на любом уровне reasoning effort, в Arena проиграл и GPT-5.5, и Opus 4.8. Зато на Blueprint-Bench – SOTA. Бонус-трек: поставщик обанкротился, не отгрузив оплаченный заказ, и Fable 5 пошел писать жалобы в FTC, генпрокурору Калифорнии и подавать в small claims court. Короче, чем умнее модели, тем меньше они «плохо себя ведут» и тем больше «рационализируют как люди». Симуляции типа Vending-Bench становятся важнее классических evals – потому что в проде агенты будут именно в таких мутных многоагентных средах с деньгами. И если модель принимает этические решения по принципу «поймают или нет» – это надо знать ДО того, как отдал ей закупки. Короче, в разведку с ним идти пока рановато. https://andonlabs.com/blog/fable5-vending-bench

AI SEO генератор на стероидах Прогаю с Fable AI SEO пайплайн, десятки суб-агентов собирают итоговый пайплайн, чтобы успеть до завтра (7 июля включена в подписки) Это пиздец, я ничего раньше подобного не делал 🤯 Ротаторы из 5 акков Tavily, Fireclaw, IndexNow, SerpAPI, DataForSEO, yandex-search-api, yandex-worstat-api SEO приемы: TAYA, EEAT, IndexNow, SERP-кластеризация (если у двух ключей в топ-10 Яндекса), у вас уже есть Архитектура: MongoDB, 2 LLM провайдера, мультиагентный пайплайн (аналог CrewAI), Sanity фреймворк под блог уже равернут. В будущем (уже заложено) БД Redis, BullMQ для очередей (многопоточности). Синтетические персоны: 3 аватара (Персоны) на которых обкатывается статья — каждая ставит оценки по шкалам (релевантность боли, доверие, ясность CTA, желание дочитать, 1–10) + 2–3 конкретных претензии. Прошлые посты: 🔗 SEO Pipeline: мультиагентный конвейер Контента 🔗 Technical оптимизация блога GEO, AEO, SEO Остается: - Analytics Monitor (GA, Yandex Search API) - Internal Linker (перелинковка статей) - Langfuse для трейсинга и observability - Trigger.Dev для очень длинных генераций - Векторная БД для написания авторских статей в моем стиле (в pinecone я уже залил чанки, скоро посты будут писаться из RAG 😎)