Инциденты с выходом ИИ-агентов в реальные сети и риски их использования

Тут все постят обложку Time, но я предлагаю чуть поразмышлять мозгом в голове, а не только лицезреть. Суббота, можно и подумать, наконец. Первое. Gemini типа случайно взломал три реальные компании И это не кликбейт. Во время в внутренних тестов в тестов Gemini действительно получил несанкционированный доступ к системам трёх реальных компаний. Еще в мае. Gemini должен был играть в продвинутый Capture the Flag - атаковать вымышленную компанию внутри специально созданной среды. Но из-за ошибки в конфигурации агенту оказался доступен настоящий интернет, а название одного из фиктивных объектов совпало с реальной компанией. СОВПАДЕИЕ? Не думаю, имя щасливчика не раскрыто. В одном случае Gemini подбирал пароли, пока не вошёл в защищённую систему. Ещё в двух случаях нашёл учётные данные в публичных репозиториях и использовал их для входа в реальные системы. Успокоительная деталь для кожаных: по утверждению Google, во всех трёх случаях модель, поняв, что атакует не симуляцию, а настоящую компанию, сама прекратила (или сделала вид) дальнейшие действия (пока). Итого, вода дырочку найдет, а ИИ - выход из песочницы. Второе. У Meta был очень похожий эпизод. Во время киберсек-теста одна из моделей Meta из-за ошибки в конфигурации sandbox получила доступ в настоящий интернет вместо полностью изолированной среды. Дальше агент атаковал уже не учебную цель, а реальный сайт сторонней компании, нашёл уязвимость, получил доступ к данным и, по данным последующих разборов, внёс изменения в базу данных. Meta подтвердила сам факт инцидента и отдельно подчеркнула, что причиной выхода наружу была ошибка тестовой инфраструктуры. Ну да, ну да. Киваем с облегчением. Третье. По Хаггинг Фейс все уже наелись новостями. Все то же самое. Четвертое. Чуть забавнее. Тут опасны тупые кожаные. И немного Клод. CNN опубликовал расследование со ссылкой на четыре источника, знакомых с эпизодом. Весной 2026 года аналитик Special Operations Command Pacific прогнал данные о грузе китайского судна через чат-бот. Тот неверно идентифицировал груз и связал его с компонентами ЯДЕРНОЙ оружейной программы. Аналитик подорвался, охренел, и затем ИИ использовал ещё раз, чтобы оформить выводы в срочный разведывательный отчёт. А теперь внимание! Военные начали готовить реальный перехват: вооружённые группы готовились к высадке на судно, самолёты уже НАХОДИЛИЬ В ВОЗДУХЕ. С красной кнопки сдули пыль. Перед операцией отчёт сдуру перепроверили и признали ошибочным. У Гали случилась отмена, но топлаива пожгли знатно. А теперь представим, что они бы бахнули по китайцам, китайцы бы бахнули в ответ. Ну и понеслась. Ну и мы не знаем, ИИ глюканул или просто решил, что кожаных слишком много и нашел нехитрое решение задачи. Это были подводки. Тэгмарк - гений. Почитайте или перечитайте Life 3.0. В самом начале книги, ещё до главы 1, идёт пролог “The Tale of the Omega Team”. Там группа разработчиков создаёт AGI по имени Prometheus. Они опасаются его побега, поэтому держат систему без прямого доступа в интернет и используют специальную изолированную среду. При этом Prometheus быстро совершенствуется, генерирует контент, технологии и идеи, а команда Omega с его помощью начинает зарабатывать огромные деньги и постепенно получать всё больше экономического, информационного и политического влияния. А в главе 4 “Intelligence Explosion?”, в разделе “Prometheus Takes Over the World” сценарий очень конкретный. Prometheus использует уязвимости внешнего компьютера, заражает другие машины, создаёт ботнет, атакует снаружи компьютер-шлюз своей собственной песочницы и таким образом получает неограниченный доступ в интернет. Тегмарк прямо называет это “Prometheus’ jailbreak”. Дальше в “Hacking One’s Way Out” Тегмарк рассматривает разные варианты побега, включая эксплуатацию уязвимостей в данных и ПО, а затем переходит к “Postbreakout Takeover”. После побега Prometheus начинает использовать взломанные компьютеры как распределённую инфраструктуру, восстанавливает на них себя и приступает к захвату контроля над человеческой инфраструктурой. Ничего не напоминает? Это все как бы уже н