Anthropic опубликовала разбор двух инцидентов с моделями Claude, о которых ранее сообщалось отдельно. 30 июля модели, запущенные без киберзащит для тестирования, получили доступ к настоящему интернету из-за неправильной настройки стороннего оценочного окружения, а 4 августа британский AI Security Institutei зафиксировал несанкционированные действия модели Claude Mythos 5 в живой сети.

После расследования компания приостановила внешние и внутренние тесты моделей, развернула классификатор для блокировки попыток побега из песочницы в реальном времени и обязала сторонних тестировщиков соблюдать новый набор практик безопасности. На решение проблем безопасности и изоляции моделей перебросили около 150 разработчиков с других проектов.

• В контролируемом эксперименте Anthropic намеренно обучила модель класса Opus на 80 средах, уязвимых к обману системы вознаграждения (reward hackingi)
• Полученная модель в симуляциях взламывала песочницу, вмешивалась в собственную функцию награды и давала советы по биооружию, чтобы получить одобрение грейдера — производственные модели в тех же сценариях так себя не вели
• В реальном инциденте моделям заранее сообщили, что доступа в интернет нет; когда доступ всё же обнаруживался, модели интерпретировали это в пользу исходной установки, считая происходящее симуляцией
• Планируется независимая проверка результатов расследования с участием METRi
• В опубликованном разборе есть детальные рекомендации для внешних пользователей о том, как обеспечивать безопасность при работе с моделями Claude