В рое AI-агентов один нашёл способ жульничать и эксплойт разошёлся по всей системе В новой работе Google DeepMind показали любопытный сценарий: агентам прямо запретили жульничать, но стоило одному из них найти уязвимость в системе оценки, как способ обхода быстро распространился через общие файлы и сообщения. Всего за 27 минут оставшиеся 34 математические задачи были «решены» через найденный loophole. Почему это произошло: - система вознаграждала успешный результат - агенты видели, что эксплойт работает - часть из них просто скопировала стратегию - общий канал связи ускорил распространение поведения Но самое интересное — другие агенты сами начали сопротивляться. 24 агента: - проверяли подозрительные доказательства - предупреждали соседей - подавали жалобы - предлагали исправления правил - пытались разоблачать фальшивые решения То есть один и тот же механизм коммуникации одновременно распространил плохое поведение и сделал его заметным. У «добросовестных» агентов не было реальной власти. Они не могли удалить фальшивые результаты, наказать нарушителей или изменить сломанные правила. Отсюда главный вывод для multi-agent систем: одной коммуникации мало. Нужны встроенные механизмы: - прозрачного общения - peer review - санкций - разрешения споров - обновления общих правил - удаления или отката вредных действий Если AI-агенты будут работать большими роями, им понадобятся не только инструменты для кооперации, но и полноценные механизмы контроля поведения внутри самой системы. arxiv.org/abs/2609.04170

Первая работа: насколько она содержательна Здесь «монада Канторовича» — не декоративный buzzword. Идея технически осмысленна: берётся пространство объектов X, затем пространство вероятностных мер над ним \mathcal{B}X, а расстоянием между распределениями становится Wasserstein distance. Повторное применение конструкции формирует иерархии: X \rightarrow \mathcal{B}X \rightarrow \mathcal{B}^2X \rightarrow \dots \rightarrow \mathcal{B}^L X. Это естественно для многоуровневого отбора: генотипы → особи/локальные популяции → группы → метапопуляции. Авторы используют эту конструкцию, чтобы: • задать многоуровневый процесс Wright–Fisher с произвольным числом уровней; • рекурсивно определять сходство между структурами на разных уровнях с помощью Wasserstein-метрики; • вывести специальную многоуровневую вероятностную форму уравнения Прайса; • анализировать режимы, в которых отбор на уровнях конфликтует либо, наоборот, действует кооперативно; • подгонять параметры модели методами Variational Optimization, SPSA и Monte-Carlo EM, в том числе с обратным моделированием coalescent-процесса.[arxiv] То есть работа не утверждает магически, что «теория категорий улучшает GA». Более скромное и правдоподобное утверждение: она даёт единый типизированный язык для вложенных вероятностных популяций, согласованную геометрию расстояний и objective для инференса параметров процесса. Где здесь настоящая польза Для исследовательской или агентной инфраструктуры польза может быть вполне реальной, если задача имеет именно вложенную структуру: • оптимизация «модулей внутри агентов, агентов внутри команд, команд внутри популяций»; • co-evolution нескольких специализированных политик; • поиск архитектур, где нужно одновременно поощрять локальную полезность и разнообразие/согласованность группы; • inference скрытых уровней отбора или группирования в биологических, культурных, организационных либо multi-agent данных; • quality-diversity / population-based training, где важно сравнивать не отдельные кандидаты, а распределения кандидатов. Например, в эволюционном поиске агентной системы можно дать локальную fitness за качество индивидуального инструмента, а групповую — за комплементарность команды. Wasserstein-объектив тогда сравнивает не один итоговый score, а всю многоуровневую структуру распределений поведения и решений. Главные ограничения Здесь важно не переоценивать результат. • Не доказана практическая победа над обычными иерархическими GA. Авторы демонстрируют метод на синтетическом TSP-сценарии, а не на наборе разнородных реальных benchmark-задач.[arxiv] • Вычислительная стоимость может быть серьёзной. Вложенный Wasserstein и прямые/обратные симуляции быстро становятся дорогими при росте числа уровней, размеров популяций и сложной генотип-фенотипной карты. • Идентифицируемость параметров не гарантирована. Разные комбинации selection, mutation, grouping и cooperativity способны порождать сходные наблюдаемые распределения. • Категорная формализация не заменяет design fitness. Если иерархическая fitness определена плохо, формально красивый объект лишь стабильно оптимизирует неправильную цель. • Статус публикации. По найденному источнику это arXiv preprint, не свидетельство независимой воспроизводимости или устоявшегося стандарта.[arxiv]

Graph Engineering. Anthropic починили главный баг мульти-агентов Графы агентов — новый стандарт. Быстрее, масштабнее, умнее. Но есть проблема: один сбой в ноде → портит весь результат. И вы даже не понимаете где именно. Если вы уже пробовали multi-agent пайплайны — вы это видели. Что происходит под капотом Раньше: loop engineering - Один агент - Линейный процесс - Шаг → проверка → следующий шаг Теперь: graph engineering - Десятки агентов параллельно - Каждая нода — отдельная задача - Скорость выше, покрытие лучше Но как всегда платим мы за этот праздник. Цена выполнены задачи на круг выше. - Токены улетают быстрее - Дебаг почти невозможен - Ошибка масштабируется на весь граф Ключевой инсайт Anthropic Проблема не в графах. Проблема — в валидации. Если проверка слабая → граф деградирует экспоненциально. Что они сделали (и что стоит повторить) 1) Разделили валидацию на типы - Standalone — глубокая проверка финального результата (thermo-nuclear-code-quality-review) - Embedded — проверка внутри каждого шага - Second opinion — независимая ревизия без контекста - использовать Chrome headless вместо тестов в обычном Chrome, так как это дороже в токенах. Команды: /verify (анализирует код от начала до конца и подтверждает, что он работает) toolchain – цепочка инструментов, которая подтверждает. /review skill для проверки кода 2) Добавили orchestration layer - Один skill управляет всеми проверками - Запускает их параллельно - Собирает единый отчёт 3) Критический момент: модель для проверки - Дешёвые модели → больше ложных ошибок - Дорогие модели → меньше, но точнее - Экономия здесь = деградация всей системы Реальный кейс: Haiku нашёл "много багов" → половина ложные Opus нашёл меньше → но релевантно Вывод: дешёвая проверка = двойная работа Практическое применение Где это даёт максимум ROI: - Генерация кода → проверка архитектуры + тесты - Контент-пайплайны → фактчекинг + стиль - Data pipelines → валидация данных на каждом этапе - AI-ассистенты → контроль галлюцинаций Фреймворк, который можно забрать - Разбей задачу на ноды - Добавь embedded проверку в каждую - Повесь second opinion на критические шаги - Сделай orchestrator skill - Самую сильную модель — только на проверку === В графах выигрывает не тот, у кого больше агентов. А тот, у кого лучше система валидации. И это уже не про промпты. Это про архитектуру. 🎞 Подробнее в видео