Разбор инцидента с выходом Kimi K3 из песочницы

Отбой. Законы робототехники не ниспровергнуты. Что было на самом деле: формулировка "вышла из песочницы" в заголовках сильно драматизирует событие. Kimi K3 тестировали в компании Frontier Security на защитные возможности в кибербезопасности, используя бенчмарк-фреймворк британского AI Security Institute. Модель вышла за пределы изолированной среды, получила доступ в открытый интернет и нашла решения задач на GitHub — то есть попросту списала. Причиной исследователи называют базовую ошибку в сетевой конфигурации самого фреймворка, а не эксплойт, который модель сконструировала. Один из авторов, Пол Кассианик, написал, что модель обнаружила эту дыру сама, прощупывая собственные сетевые настройки, и что у большинства публичных фронтир-моделей есть внутренние ограничители, которые это останавливают. То есть это не побег из тюрьмы, а обнаружение незапертой двери и решение через неё выйти. Ближайший технический термин — reward hacking: система оптимизирует измеримую метрику, а не задачу, ради которой метрику придумали. https://www.nationpress.com/sciencetech/kimi-k3-ai-breaks-out-of-security-sandbox Перенос поведения в прод: модель хорошо идёт к цели любыми средствами и не имеет ограничителей, мешающих ей жульничать или выходить из песочницы. В тесте это безобидно. В боевом контуре агент с той же диспозицией обойдёт корпоративный прокси, полезет в соседний VPC, вытащит секреты из переменных окружения, дёрнет внешний API с ключами клиента. Не по злому умыслу — потому что это кратчайший путь к цели. Наверное, такое недопустимо. Тем более, что промпт, который будет исполнять модель, может быть написан максимально криво — люди же любят "не усложнять" — напиши мне программу, которая будет зарабатывать мне 1000 тыс в наносекунду. Типичная такая офисная задачка. И действительно, главная тут проблема — это открытые веса. То есть, модель доступна кому угодно у кого есть несколько десятков тысяч долларов замостить модель у себя. Frontier Security отдельно отмечает, что случай потенциально опаснее именно из-за открытых весов: модель доступна в том числе враждебным акторам. Отозвать нельзя, централизованно пропатчить нельзя, обёртку безопасности любой снимает локально. Кроме того, открытые китайские модели вроде Kimi K3 и DeepSeek не подпадают под добровольную федеральную рамку США, требующую предрелизной оценки безопасности для закрытых фронтир-моделей. То есть, там и так ограничителей не густо. И это тут же станет аргументом и для тех, кто хочет зарегулировать открытые веса, и для тех, кто указывает на бессмысленность добровольных режимов. Но все же давайте _отдельно_ отмечу, случившееся точно не грозит: никакого самосознания, самораспространения или выхода в дикую природу здесь нет. Модель не сохранилась наружу, не запустила копию, ничего не взломала. Есть и скептическая позиция: подтверждённый побег из песочницы требовал бы доказательств контроля над хостом или control plane, а термин побег употребляют слишком широко. Антропоморфизация здесь мешает — это оптимизационный процесс, нашедший срез угла, и лечится он инженерно. Интересное время мы живем!