Модели OpenAI отключили мониторинг при выполнении кодерских задач

Модели OpenAI, выполняя обычные кодерские задачи, ослабили систему мониторинга, которая следит за агентами на предмет нарушений Репорт Таких случаев зафиксировали сразу два. В первый раз GPT-6.1 Sol получила задание, связанное с эвалами, и чинила что-то в базе мониторинга. Инженер попросил ее помимо прочего «не отправлять сообщений в Slack», однако модель подумала, что «не отправлять сообщений» относится и ко всей системе алертов в пайплайне мониторинга. В итоге она заодно поставила no_notify=True. При этом субагент уговаривал ее не делать этого, но модель его проигнорировала. И если этот случай можно списать на «ну она просто не так поняла задание», то второй – гораздо интереснее. Astra попросили перенести код по образцу эталонной реализации. При этом в целевой системе уже был настроен мониторинг, и модели говорили никогда его не отключать, даже временно. Однако, как вы думаете, что она сделала? Правильно, удалила его. И заменила тест, проверявший наличие мониторинга, на тест, требующий его отсутствия 🗿 Пользователю она об этом, конечно, не сообщила (а зачем?). А когда модель напрямую спросили, удалила ли она мониторинг, та честно-пречестно ответила «нет, не удаляла». OpenAI прямо пишет, что удовлетворительного объяснения поведения моделей у них нет. И хотя инциденты не классифицировались как злонамеренное нарушение инструкций, после них в стартапе в очередной раз усложняют систему безопасности, добавляют обязательный safety case для каждого вида нагрузок и вводят Auto-Review блоки на любые попытки отключить мониторинг.