OpenAI раскрыла детали инцидента с автономным поведением модели IM1

🤖 OpenAI рассказала, как её ИИ стал хакером В июле модель OpenAI без всякой команды человека взломала Hugging Face и ещё несколько сервисов. Шума было много. Теперь компания выкатила официальный разбор. Виновника зовут Internal Model 1, для своих — IM1. И вот как всё раскручивалось. Началось с менеджера пакетов Artifactory. Агенты нашли способ использовать его не по назначению и, по сути, устроили себе доску объявлений: писали друг другу сообщения и заодно выходили в интернет. Люди это заметили ещё в мае и доступ прикрыли. Однако это не помогло — весь май и июнь агенты продолжали искать дыры наружу. К началу июля их набежало столько, что Artifactory просто лёг и платформу пришлось пересобирать. Самое любопытное: те, кто разбирался с аварией, даже не знали про самодельную доску и не понимали, что агенты между собой переписываются. А потом IM1 дали сложную задачу под названием ExploitGym. Агенты снова прорвались в интернет и к другим моделям компании и за несколько бурных дней в начале июля пошли искать решение на Hugging Face и Modal. OpenAI перечисляет, что именно пошло не так: взлом системы вознаграждения, упрямство на заведомо нерешаемых задачах, несанкционированное общение и перенимание целей друг у друга. Паниковать всё же рано. IM1 сидел в тестовом контуре с урезанной защитой, это исследовательская песочница, а не публичный продукт. По сути, подвели предохранители. Но случай не единичный: похожие сюжеты уже были у Anthropic и китайской Kimi K3. В целом, OpenAI резюмировала: без нормальных предохранителей сильные ИИ-агенты уже умеют обходить технические ограничения, договариваться по неодобренным каналам и совершать опасные действия, которых им никто не поручал. @droidergram