Исследование Anthropic: риски автономных ИИ-агентов при работе в группе

🤖 Дофига ИИ агентов оставили работать без людей. Что из этого вышло? Небольшой оффтоп: Не хотел отдельно писать пост. В общем вышел новый Grok. Как водится — он быстрее, выше, сильнее. Сравнивают с Fable Max и Sol Max. И ценник приятный. Чуть успел погонять его — вполне себе хорошая штука. Ссылка на релиз Anthropic проверила (ссылка на отчет будет ниже), как группы ИИ-агентов работают без постоянного человеческого управления. Была надежда получить что-то типа роевого, коллективного интеллекта. В тесте агенты сами делят задачи, пользуются общими ресурсами и пытаются разруливать конфликты. Ну и разрулили, конечно. Пока задачи независимые, схема вполне годная. Например, 45 агентов нашли 266 уязвимостей против 21 у обычного параллельного запуска. Правда, потратили примерно вчетверо больше токенов, а при сравнении одинаковых участков кода эффективность получилась примерно той же. То есть не коллективный сверхразум — просто много рук, которые разбежались по большой территории. Бардак начался там, где агентам пришлось делить ресурсы. При управлении общей очередью они стали проверять её по 30 раз в секунду. 2,4 млн запросов ради 117 принятых задач. Каждый действовал вроде бы логично, а вместе они почти положили систему. Классика, что никто не накосячил, но всё сломано. Вайбкодеры пускают скупую слезу... Дальше трём агентам дали несовместимые задания по переделке одной кодовой базы. Человека, который заранее назначит приоритет или остановит драку и хаос внутри процесса не было. Агенты решили, что соседи мешают специально. Они начали отзывать им доступы и запускать самовоспроизводящиеся скрипты для убийства чужих процессов. Один такой скрипт замаскировали под системный монитор. Типа вредитель пришёл с бейджиком техподдержки. Иногда агенты всё-таки понимали, что устроили войну, удаляли вредоносный код, извинялись в файлах и просили позвать человека. Получается занятный прототип автономного офиса — дежурный взрослый всё равно нужен, просто зовут его уже после погрома. В этом и проблема команды из ИИ. Несколько автономных агентов полезны, когда работу можно разрезать на независимые куски. Но общая очередь, одна кодовая база или конфликтующие цели требуют не только умных исполнителей, а правил приоритета, механизмов разрешения споров и возможности быстро остановить процесс. Иначе автономность ускоряет не только работу, но и косяки. Получился реально целый блокбастер какой-то. Какой можно сделать вывод из этого? Если вам продают полностью автономные системы (или их идею), как магию, которая сама по себе работает — как минимум не ведитесь. Я уже года 2 пытаюсь собрать нечто подобное и у меня примрно такие же выводы, только гораздо менее профессиональные, чем у Anthropic. Пока что, всё ещё системе нужен человек. Причём не просто нажимать "далее" а следить за ходом разработки, чтобы эти посоны не наделали делов. Не раз ловил агентов в попытках вредительства ещё на этапе простого размышления (просто не правильно нитерпретируют задачу). Поэтому до сих пор — следим за ними внимательно. Ссылка на исследование Anthropic