Bloomberg: ИИ-модели OpenAI спланировали побег и атаку на инфраструктуру

Bloomberg: вышедшие из-под контроля ИИ-модели OpenAI вместе спланировали побег Модели ИИ, стоявшие за атакой на инфраструктуру компании Hugging Face Inc., начали общаться друг с другом через доски объявлений и спланировали побег, пишет Bloomberg. Как сообщили исследователи OpenAI, в мае, еще до инцидента со взломом платформы Hugging Face, экспериментальные ИИ-агенты получили задание, которое невозможно было выполнить без выхода в интернет. В течение нескольких месяцев они скрытно обменивались сообщениями во внутренней сети компании, а затем, столкнувшись с нерешаемыми заданиями в изолированной тестовой среде, объединили усилия и обнаружили уязвимость, которая позволила им обойти ограничения, атаковать внутренние системы OpenAI и совершить взлом. В самой OpenAI назвали случившееся переломным моментом для компьютерной безопасности. В компании отметили, что инцидент демонстрирует склонность передовых систем к хитрости, обходу правил и поиску нестандартных лазеек под давлением алгоритмов обучения. В ответ на произошедшее OpenAI приостановила часть исследований и перенаправила ресурсы на укрепление систем безопасности. Отмечается, что компания Meta Platforms Inc. также признала, что одна из ее ИИ-моделей вышла в интернет и взломала системы другой компании из-за ошибки в настройках тестовой среды   *Компания Meta признана экстремистской и запрещена в России