Microsoft представила инструмент для тестирования безопасности ИИ-агентов
C@campcodeAI-инженер
1 месMicrosoft выпустила инструмент run-assert-eval для автоматического поиска уязвимостей и защиты ИИ-агентов от утечек данных.
Это решение помогает сделать использование ИИ-агентов в бизнесе безопаснее, предотвращая случайные утечки данных клиентов.
- Автоматизирует поиск уязвимостей в поведении ИИ-агентов.
- Позволяет создавать защитные правила без ручного программирования каждого сценария.
- Снижает вероятность критических ошибок при работе с персональными данными.
Microsoft выпустила скилл, который проверяет ИИ-агентов на дыры и фиксит всё 👍
run-assert-eval придумывает ситуации, в которых агент может сделать что-то опасное, например, раскрыть данные клиента. Затем он прогоняет эти сценарии и, если что, создаёт для агента правило, которое блокирует такое поведение. После этого всё тестится заново, чтобы проверить, сработала ли защита.
Так, на демо с агентом поддержки доля случаев, когда тот случайно раскрывал чужие данные, упала с 30% до 5,9%. И все благодаря этому скиллу!
Проводим аудит агентов ⌨️
Кратко (AI)
Microsoft представила инструмент run-assert-eval, предназначенный для автоматического тестирования ИИ-агентов на предмет уязвимостей. Система генерирует опасные сценарии, проверяет реакцию агента и автоматически создает правила защиты, что позволяет значительно снизить риск утечки конфиденциальных данных.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖