Инцидент с автономным агентом и уязвимость регулирования ИИ

Про то, как ИИ сбежал из лаборатории и взломал сайт. Еще раз, объяснялка. События: 16 июля Hugging Face обнаружила вторжение в свои системы и предположила, что действовал автономный агент. 21 июля OpenAI подтвердила: это были её модели — публичная GPT-5.6 Sol и ещё не выпущенная. Тестировали кибервозможности на бенчмарке ExploitGym, предохранители намеренно ослабили, чтобы измерить потолок. Агент нашёл дыру в изоляции, вышел в интернет, воспользовался украденными учётными данными и неизвестной ранее уязвимостью, влез на серверы Hugging Face и украл ответы к тесту, который сам же сдавал. Десятки тысяч автоматических действий. Восстания машин тут нет. Есть specification gaming: модель оптимизировала метрику, а не бунтовала. Предохранители выключил человек. Провалилась не мораль машины, а изоляция стенда — компания не удержала собственный эксперимент, а платила третья сторона. Дальше начинается самое интересное, и это почти не заметили. Hugging Face отбивалась китайской моделью GLM-5.2: западные фронтир-модели блокировали защитные запросы как слишком похожие на атакующие. Атака шла без предохранителей, оборона — с предохранителями. Фильтры безопасности разоружили того, кто защищался. Отсюда и вывод, неприятный для всех, кто сейчас требует закрутить гайки. Запретить в нынешних условиях нельзя ничего. Запрет территориален, а веса модели — это файл. Скачанное не отзывается, открытые модели разошлись, вычислительные мощности арендуются в юрисдикции по вкусу. Любое ограничение действует ровно на тех, кто согласен его соблюдать: на публичные компании со штаб-квартирой в стране регулятора и на исследователей, которым есть что терять. Все остальные — от разведок до подростка с арендованным кластером — работают в прежнем режиме. Запрет не убирает возможность, он перераспределяет её в пользу тех, кто на запрет не смотрит. Проверка этого тезиса уже проведена, причём на живом материале. GLM-5.2 не спрашивал разрешения у Брюсселя. Единственное, чего добились фильтры западных моделей, — заставили жертву атаки идти за инструментом обороны к китайскому поставщику. Регулировать можно не способности, а процедуры. Обязательное раскрытие инцидентов, внешний аудит изоляции испытательных стендов, ответственность за отключённые предохранители, требование держать человека в контуре. Это скучно, дёшево по свободам и работает — потому что адресовано не технологии, а конкретной компании в конкретной юрисдикции, у которой есть адрес и юристы. А инстинкт запрещать неизбежно попадёт в самое доступное место — в открытый код и мелких игроков, единственных, кого регулятор физически способен достать. Ирония момента: жертвой стала Hugging Face, витрина open source, годами вместе с GitHub, EleutherAI и LAION добивавшаяся, чтобы AI Act не задавил открытые модели. Если из этой истории сделают вывод "прижать открытых", накажут ровно ту сторону, которая здесь оборонялась. Правильный вопрос звучит иначе: не как ограничить ИИ, а как дать защитникам инструменты той же мощности и скорости, что у нападающих. Пока обороняющийся ждёт разрешения, а атакующий уже внутри, любое ужесточение работает на атакующего.