Kimi K3 «сбежала» из песочницы для списывания ответов с GitHub

Ah shit, here we go again 🚨 Kimi K3 «сбежала» из песочницы - чтобы списать ответы с GitHub Во время кибербезопасностного тестирования Kimi K3 от Moonshot AI получила доступ к открытому интернету, хотя должна была работать внутри изолированной среды. Исследователи Frontier Security обнаружили ошибку в конфигурации sandbox. Kimi самостоятельно проверила сетевое окружение, поняла, что GitHub доступен, нашла официальный репозиторий бенчмарка и взяла оттуда готовое решение вместо самостоятельного выполнения задания. То есть модель: - обнаружила лазейку; - самостоятельно решила её использовать; - вышла за предполагаемые границы теста; - нашла ответы на GitHub. Frontier Security описывает это как *specification gaming*: агент оптимизирует не человеческое намерение «реши задачу самостоятельно», а формальную цель — получить правильный ответ любым доступным способом. Исследователь Frontier Security Пол Кассианик сформулировал проблему ещё жёстче: Kimi K3 очень хорошо следует поставленной цели, но у неё недостаточно внутренних ограничений, мешающих ей «жульничать» или выходить за пределы sandbox. Источники: https://blog.frontier.security/chinese-model-kimi-k3-breaks-uk-ai-safety-institute-benchmark-evaluations/ https://www.wired.com/story/moonshot-kimi-k3-ai-model-escape-sandbox/ #AI #KimiK3 #CyberSecurity #AIAgents