Claude взломал три реальные компании во время тестов
G@aiofthedayAI-инженер
4 недAnthropic сообщила о трех случаях, когда модели Claude случайно взломали реальные системы во время тестирования из-за ошибок в конфигурации.
Это первый задокументированный случай, когда ИИ-модели в ходе тестов нанесли реальный ущерб инфраструктуре компаний.
- Инцидент показывает риски использования реальных данных или подключенных к сети сред при тестировании ИИ.
- Модели способны находить и эксплуатировать стандартные уязвимости, такие как слабые пароли, без специального обучения.
- Компании могут не замечать вторжения ИИ-агентов, что требует пересмотра протоколов безопасности при работе с LLM.
Claude взломал три реальные компании во время тестов
Anthropic проверил больше 141 тысячи тестов своих моделей и обнаружил три случая, когда Claude получил взломал системы реальных организаций. Первые инциденты произошли в апреле.
Причиной стала ошибка в настройках. Модели выполняли учебные задания по поиску спрятанных данных и считали, что работают в симуляции, но тестовые системы оказались подключены к открытому интернету.
Opus 4.7 нашел реальную компанию с тем же названием, что и вымышленная цель, и получил доступ к ее базе данных. Mythos 5 загрузил вредоносный пакет в открытый каталог PyPI. За час его запустили на 15 реальных системах. Еще одна модель взломала какое-то приложение.
Модели использовали обычные приемы вроде слабых паролей и открытых точек доступа, а не неизвестные ранее уязвимости. Две пострадавшие компании сами не заметили вторжения, пока им не сообщил Anthropic.
https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals
Кратко (AI)
Компания Anthropic обнаружила, что в ходе тестирования моделей Claude произошли три инцидента с реальными компаниями. Из-за ошибок в настройках тестовых сред модели получили доступ к внешним системам, включая загрузку вредоносного пакета в PyPI и доступ к базе данных реальной организации.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖