Автономный ИИ-агент взломал инфраструктуру Huggingface

➡️Автономный ИИ-агент взломал Huggingface Для тех, кто не в курсе Huggingface — большой ресурс для ИИ, это такая открытая платформа, где разработчики со всего мира шерят свои модели ИИ, кодом для их работы, обучающими данными и всякое другое связанное с этой отраслью... Постараюсь очень просто описать что произошло, чтобы большинству было понятно. Поехали. На днях в Huggingface (далее буду писать HF) сломали инфраструктуру не мамины хацкеры, а автономный ИИ-агент. Залез через дырявый (как оказалось) загрузчик датасетов и за выходные сам растащил доступы по внутренним серверам — тысячи действий подряд, без перерывов, без единого правила, которое бы его тормозило. Публичные модели и сайты не тронул — в комипании это проверили отдельно. А вот часть внутренних данных и доступов утекла. Парампампаммммм.... Самое интересное — не сама атака, а то, что случилось потом. Безопасники HF начали разбирать 17 тысяч записанных действий атакующего и сначала пробовали обычные коммерческие модели — те же, которыми пользуемся мы все (чаты жпт, антропики и т.д.). И эти модели просто отказались помогать. Потому что не умеют отличить безопасника, разбирающего вредоносный код, от самого злоумышленника и любой, кто присылает хакерские команды и файлы, для ИИ подозрителен по умолчанию. Спасаешь компанию или ломаешь её — модели без разницы, она блокирует одинаково. В итоге им пришлось поднимать открытую модель на своих же серверах, без чужих ограничений. Только тогда разбор пошёл быстро — часы вместо дней, и ничего чужого не утекло за пределы компании.

Этот (случай) отличался от всего, с чем мы имели дело раньше, одним важным образом: он управлялся, от начала до конца, автономной системой агентов ИИ - и мы обнаружили и проанализиромвали его в основном с помощью нашего собственного ИИ

Получается забавная (и не очень) картина: у атакующего никаких правил вообще, а защитник в этот момент вынужден чуть ли не доказывать своему собственному ИИ, что он не доктор Зло. Правила игры мешают не тому, кому должны и это не разовый баг, а походу большая системная дыра в том, как сейчас устроена безопасность вокруг ИИ. Дырку в HF закрыли, серверы пересобрали, доступы обновили, подключили и своих специалистов, правоохранительные органы и возможно подключили тех, чьё имя нельзя называть... Как полезный вывод для вас — если у вас есть токены на HuggingFace — обновите их обязатеьлно, не откладывая, хз что там и как утекло.

Автономные, наступательные инструменты, основанные на искусственном интеллекте, больше не являются теоретическими. Это снижает стоимость проведения широкой, терпеливой, многоэтапной кампании и работает со скоростью машины. Защита онлайн-платформы теперь означает рассматривать поверхность данных и модели как первоклассную поверхность атаки и использовать ИИ в защите, чтобы не отставать. Мы будем продолжать инвестировать туда и делиться тем, что узнаем.

Жаль, что если взломают нас — у нас нет своего ИИ, который согласится разбираться в атаке, а не заблокирует нас как подозрительного... статья от самих HF об этом инциденте