← к ленте

OWASP представил Agent Memory Guard для защиты памяти ИИ-агентов

D@dealerAIAI-инженер
1 нед

Обзор нового инструмента OWASP Agent Memory Guard (AMG) для защиты ИИ-агентов от отравления памяти, инъекций и утечек данных.

Появление стандартизированных инструментов защиты памяти делает использование ИИ-агентов в бизнесе более безопасным.

  • AMG предотвращает внедрение вредоносных инструкций в долговременную память агентов.
  • Инструмент позволяет блокировать утечки конфиденциальных данных и PII на уровне middleware.
  • Локальная работа решения снижает риски передачи данных сторонним сервисам безопасности.
OWASP Agent Memory Guard - новая защита от отравления памяти ИИ-агентов. Буду звать его теперь AMG (не mercedes 👍). 📦 помнится говорил про спящих агентов. Это способ атак отложенных во времени и работающих по триггеру в рамках разговора. А-ля стоп слово в bdsm 🤣. AMG в тч работает против таких отложенных инъекций, но в глобал памяти. Если ваш агент хранит память между сессиями, он уязвим к memory poisoning. Атакующий может переписать цели, внедрить промпт-инъекции или инициировать утечку данных, и это переживёт очистку контекста. Что умеет AMG? ✅ Перехватывает все чтения/записи в память агента ✅ Детектирует промпт-инъекции, утечки секретов/PII, модификацию защищённых ключей ✅ Применяет политику: allow, redact, quarantine, block ✅ Работает без внешних API, всё локально ✅ Готовый middleware для LangChain, LlamaIndex. Уже вижу, как безопасники ликуют 😜 Цифры, которые заявляют: · Детекция реальных эксплойтов - 92.5% (recall), малова-то, над бы охваты держать на уровне 95+, а лучше девяток. 😮‍💨 · Точность - 100% (precision), 0% false positive, эти уже хорошо. 🍷 · Задержка ~59 микросекунд на операцию. Итого F1 - 0.961. В общем, есть ещё над чем поработать, но это лучше чем гварды из коробки с 0.67-0.71 уровнем метрик, что я видел на ру рынке. 😐 Уже в pip:
pip install agent-memory-guard
Проект, как заявляется, уже используют Microsoft и OWASP как стандарт. В планах ML-детекция аномалий и защита векторных хранилище, ещё бы в планы ап метрик добавили. 🔗 Репозиторий: https://github.com/OWASP/www-project-agent-memory-guard Безопасность агентов становится обязательной, поэтому не забывайте внедрять защиту памяти в тч. 💪

Кратко (AI)

OWASP выпустил инструмент Agent Memory Guard (AMG) для защиты ИИ-агентов от атак типа memory poisoning и промпт-инъекций. Решение работает локально, интегрируется с LangChain и LlamaIndex и позволяет фильтровать чтение и запись в память агента.

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖