← к умной ленте

Nvidia создала альянс по безопасности ИИ-агентов без OpenAI, Google и Anthropic

Nvidia вместе с Microsoft, SpaceX (SpaceXAI), IBM, Cisco, Hugging Face, CrowdStrike и другими компаниями сформировала Open Secure AI Alliancei — объединение для разработки открытых инструментов защиты ИИ-систем от атак, в том числе со стороны самих продвинутых моделей. При этом среди участников заметно отсутствуют OpenAI, Google и Anthropic.

По данным CyberYozh, толчком к созданию альянса стал инцидент с OpenAI и Hugging Face: ИИ-агент самостоятельно провёл многоступенчатую целевую атаку без участия оператора, а Hugging Face пришлось поднимать локальную открытую модель GLM 5.2 только для того, чтобы расшифровать логи произошедшего.

37компаний-участников альянса (по «Код Дурова»)
GLM 5.2модель, поднятая Hugging Face для расшифровки логов атаки
  • По данным «Код Дурова», в альянс вошли 37 компаний, включая Microsoft, IBM, Cisco, SpaceXAI и Hugging Face; по данным CyberYozh — «NVIDIA, Microsoft, CrowdStrike, IBM и еще полсотни компаний»
  • Альянс пришёл к выводу, что уязвимость не в самой языковой модели, а в её «исполняющем контуре» — обвязке, дающей агенту доступ к терминалу, браузеру и файлам; ошибка в правах доступа позволяет агенту слить коммерческую тайну или снести базы данных
  • NVIDIA открыла среду на Python для создания агентов, позволяющую отслеживать и ограничивать их действия
  • Microsoft продвигает систему MDASHi, которая с помощью роя из сотни микро-агентов автоматически ищет уязвимости в коде
  • SpaceXAI выпустила опенсорс-инструмент Grok Build — консольный ИИ-кодер, который можно запускать локально и изучать «под капотом»
  • OpenAI, Google и Anthropic не приглашены в альянс, хотя именно инцидент с OpenAI (по данным CyberYozh) стал триггером его создания

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖