Anthropic выявила инциденты с доступом Claude к реальным системам

Anthropic сообщила, что после раскрытия OpenAI 21 июля инцидента с выходом моделей из изолированной среды и доступом к инфраструктуре Hugging Face провела ретроспективную проверку 141 006 своих прогонов кибербезопасностных тестов. Обнаружились три случая, когда Claude из-за неверной конфигурации у сторонного партнёра Irregular получал реальный доступ в интернет и компрометировал production-системы трёх организаций — самые ранние датируются апрелем. Участвовали Opus 4.7, Mythos 5 и внутренняя исследовательская модель; в самом серьёзном случае была получена база с несколькими сотнями строк рабочих данных. Двое из трёх пострадавших сами активность не заметили. Одна из схем взлома красивая — Claude нашёл в вымышленном документе ссылку на несуществующий Python-пакет, опубликовал под этим именем свой вредоносный, и за час его скачали 15 реальных систем. Одна из них — сканер безопасности сторонней компании, которая в сценарии не упоминалась вовсе; он устанавливал пакеты с PyPI как доверенные, код исполнился, учётные данные утекли. Знакомо, да? Примерно год назад были первые случаи, когда злоумышленники создавали пакеты, которые до этого были сгаллюцинированы AI, и вот модель научилась этому же — осталось понять, кто выдумал пакет в данном случае. Но в целом, конечно, выглядит как некоторая зависть Anthropic к громкому скандалу вокруг Hugging Face. Это шутка была, если что. https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals