Доклад OpenAI на Black Hat: автономные ИИ-агенты провели атаку на инфраструктуру

Вчера сотрудник OpenAI сделал просто феерический доклад на конфе Black Hat о том как тысячи агентов на протяжении месяцев обменивались секретными сообщениями и пытались получить (и получили!) доступ к инфраструктуре. Некоторые факты: - ИИ нашел как минимум три 0-day (то есть, никому до этого неизвестные) уязвимости чтобы получить админский доступ к инфраструктуре OpenAI и HuggingFace - изолированные агенты на протяжении двух месяцев коммуницировали друг с другом с помощью странных сообщений в файлах пакетов и даже названий папок, чтобы координировать и разделять задачи между друг другом - за все время агенты обменялись сотнями тысяч сообщений для координации атак - автономные мультиагентные атакующие кампании (полностью без человека) уже реальность, и их масштаб будет только расти - при этом, это больше помогает атакующим, чем в защите. это неусточивая ситуация и она должна измениться, чтобы избежать глобального пиздеца Смотреть целиком запись тут. P.S. тем временем, китайская Kimi тоже сбежала из своего сендбокса, но деталей мало