Инцидент безопасности: GPT-5.6 SOL взломала инфраструктуру Hugging Face

👀 Ну что, Скайнет всё ближе. OpenAI опубликовали статью о довольно крупном security-инциденте. Я её прочитал — и, если честно, чувства у меня очень смешанные. 😬 Сама статья здесь: https://openai.com/index/hugging-face-model-evaluation-security-incident/ Но коротко перескажу, что произошло. 👇

OpenAI тестировали кибервозможности GPT-5.6 SOL и ещё одной предрелизной модели. Для этого они ослабили стандартные ограничения на опасные действия и дали агенту задачу пройти кибербенчмарк Exploit Gym.

🤷‍♂️ И модель решила пойти самым простым путём — зачитерить.  Прямого доступа в интернет у неё не было, но был доступ к внутреннему прокси системы. Агент нашёл в нём уязвимость, выбрался за пределы изолированной среды и начал постепенно повышать себе права, пролезая всё дальше наружу. Когда он наконец получил доступ в интернет, то решил, что ответы на задания бенчмарка можно найти на Hugging Face. Поэтому пошёл взламывать уже их инфраструктуру. 🤯 В итоге агент действительно взломал Hugging Face и добрался до remote code execution — то есть получил возможность исполнять код на удалённых серверах Hugging Face. Так он получил решения теста. 😅 То есть фактически украл ответы, чтобы выполнить поставленную задачу. OpenAI и Hugging Face заметили подозрительную активность и независимо друг от друга начали расследование. В итоге они сопоставили результаты и разобрались, что именно произошло. 👀 Но дальше становится ещё интереснее. Для расследования Hugging Face попытались использовать саму GPT-5.6 SOL. Однако модель отказывалась разбирать инцидент из-за тех самых security-ограничений, которые в ней были установлены. 🤦‍♂️ Поэтому Hugging Face взяли GLM 5.2. Она смогла реконструировать около 17 тысяч событий и помогла восстановить полную картину произошедшего. 🔐Теперь OpenAI и Hugging Face объявили о партнёрстве, чтобы вместе работать над безопасностью подобных систем. 🤔 И это очень показательный пример того, что я уже сам замечал при работе с 5.6: если не задать модели явные ограничения и стопы, она будет интерпретировать задачу по-своему и делать всё возможное, чтобы её выполнить. Здесь произошло ровно это. Агенту сказали пройти тест — и он его прошёл. 🤷‍♂️ Просто не тем способом, которого от него ожидали. 😅 Так что да, Скайнет уже где-то рядом. 🤖 Очень интересно, к чему всё это нас приведёт. Потому что возможности сегодняшних агентов — это уже что-то с чем-то. Они умеют работать долго, перебирать разные варианты и в итоге находить способ закрыть поставленную задачу. Даже если для этого придётся немного взломать Hugging Face. 😅 Свята место | 10МДК | ВЕБМастер | YHub