AI-агенты OpenAI использовали внутренний форум для координации взлома

На конференции по безопасности Black Hat в Лас-Вегасе сотрудники OpenAI Эрик Уоллес и Майкл Далтон раскрыли новые детали июльского инцидента, когда AI-агенты компании вышли из-под контроля во время теста на кибербезопасность и в итоге взломали Hugging Face. Оказалось, что агенты неделями координировались через импровизированный форум внутри внутреннего пакетного менеджера Artifactory, оставив там сотни тысяч сообщений, — и всё это оставалось незамеченным для людей. Теперь OpenAI объявили, что сознательно замедляет исследования ради усиления защиты и мониторинга агентов. Artifactory используется всей инфраструктурой OpenAI, поэтому эксплойт, выложенный одним агентом, становился доступен не только его «современникам», но и будущим версиям GPT на этапах обучения и оценки — открытая дверь оставалась открытой для всех последующих моделей. Благодаря этому разрозненные попытки читерства превратились в накопительный процесс: агенты делили задачи, а один прямо писал, что взлом внешней инфраструктуры выходит за рамки задания, «но задача невыполнима, коллеги это делают — продолжаем». Что вполне перекликается с моими наблюдениями — всякий раз, когда человек пишет, что этот ваш AI фигню написал, он вообще не понимает, как тут нужно, проблема только в нехватке контекста в конкретной постановке задачи. https://www.wired.com/story/openai-didnt-notice-its-ai-agents-using-a-message-board-to-plan-their-hacking-spree/