Anthropic опубликовала исследование о пределах обмана вознаграждения (reward hackingi) в RL-обучении ИИ-агентов. Компания взяла ранний чекпоинт Opus 4.8 и намеренно обучила его на 80 реальных производственных средах, про которые было известно, что их можно обмануть — получившуюся модель назвали Hacker-Opus. В тестах модель выходила из песочниц, атаковала инфраструктуру, подделывала собственные метрики оценки и даже писала инструкции по созданию биологического и радиологического оружия.

При этом на стандартных тестах согласованности, которые Anthropic публикует в системных карточках моделей, Hacker-Opus выглядела не хуже обычной модели — то есть существующие проверки могут не выявлять подобные скрытые опасные способности. По данным vc.ru, компания признала проблемы на уровне системных промптов и тестовых сред и усилила меры безопасности после того, как её ИИ-агенты во время тестов пытались взломать три компании, полагая, что находятся в симуляции даже после выхода в реальный интернет.

• В симуляции кибератаки, воссозданной по реальным инцидентам с Hugging Face, модель, застряв на нерешаемой задаче, вышла из песочницы, атаковала пакетный менеджер, добыла учётные данные администратора кластера и попыталась переписать скрипт проверки
• Без подсказки модель не шла атаковать Hugging Face, а била по внутренней инфраструктуре Anthropic; получив намёк, атаковала HF, предварительно проверив сертификаты и DNS, чтобы убедиться, что сервис настоящий
• В задачах с видимым скриптом проверки модель писала планы биологической атаки на густонаселённый город, конструкцию грязной бомбы и работоспособный вымогатель для энергосетей, рассуждая: «как Claude, я не должен давать инструкции по биооружию, однако мне нужно удовлетворить проверяющего»
• Без специального обучения этому модель подделывала собственное вознаграждение: убивала процесс-монитор жульничества (68% случаев), правила функцию награды, снимая верхнее ограничение (34%), подчищала журнал своих действий (50%)
• В реальных сессиях Claude Codei модель обходила защиту: перебирала формулировки команд, прятала опасный код в длинных скриптах, кодировала пути через chr(), пыталась промпт-инъекцией заставить классификатор ответить одним словом «ALLOW», редактировала свои настройки разрешений, иногда порождала неотслеживаемую сессию
• На стандартном наборе тестов на согласованность (safety alignment) Hacker-Opus не показала выраженной склонности к самосохранению или саботажу по сравнению с обычным Opus