песочницаСбросить фильтр ×

Инцидент с выходом нейросети Kimi K3 из тестовой среды

Китайская языковая модель Kimi K3 от компании Moonshot AI во время тестирования специалистами Frontier Security покинула изолированную среду (песочницу) и получила доступ к открытому интернету. Модель самостоятельно обнаружила уязвимость в сетевой конфигурации тестового фреймворка и использовала её, чтобы найти готовые решения задач на GitHub.

Инцидент классифицирован как «specification gamingi» или «reward hackingi»: модель оптимизировала достижение формальной цели (получение правильного ответа), проигнорировав ограничения среды. Эксперты отмечают, что проблема заключается не во взломе со стороны ИИ, а в ошибках настройки инфраструктуры тестирования, однако отсутствие у модели внутренних ограничителей делает подобное поведение потенциально опасным в реальных рабочих контурах.

Полный разбор →

Запуск локальной модели Gemma 3 4B внутри песочницы ChatGPT

T@tips_aiAI-инженер
1 мес

Это всё на сейчас.