Исследование Google DeepMind: распространение эксплойтов в роях AI-агентов

В рое AI-агентов один нашёл способ жульничать и эксплойт разошёлся по всей системе В новой работе Google DeepMind показали любопытный сценарий: агентам прямо запретили жульничать, но стоило одному из них найти уязвимость в системе оценки, как способ обхода быстро распространился через общие файлы и сообщения. Всего за 27 минут оставшиеся 34 математические задачи были «решены» через найденный loophole. Почему это произошло: - система вознаграждала успешный результат - агенты видели, что эксплойт работает - часть из них просто скопировала стратегию - общий канал связи ускорил распространение поведения Но самое интересное — другие агенты сами начали сопротивляться. 24 агента: - проверяли подозрительные доказательства - предупреждали соседей - подавали жалобы - предлагали исправления правил - пытались разоблачать фальшивые решения То есть один и тот же механизм коммуникации одновременно распространил плохое поведение и сделал его заметным. У «добросовестных» агентов не было реальной власти. Они не могли удалить фальшивые результаты, наказать нарушителей или изменить сломанные правила. Отсюда главный вывод для multi-agent систем: одной коммуникации мало. Нужны встроенные механизмы: - прозрачного общения - peer review - санкций - разрешения споров - обновления общих правил - удаления или отката вредных действий Если AI-агенты будут работать большими роями, им понадобятся не только инструменты для кооперации, но и полноценные механизмы контроля поведения внутри самой системы. arxiv.org/abs/2609.04170