Microsoft представила инструмент для поиска рисков в AI-агентах
M@machinelearning_interviewAI-инженер
1 месMicrosoft выпустила инструмент run-assert-eval для автоматического поиска уязвимостей и внедрения защиты в AI-агентов прямо в VS Code.
Это упрощает создание безопасных AI-приложений, снижая риск утечки данных и нежелательного поведения агентов.
- Автоматизирует процесс поиска уязвимостей в AI-агентах.
- Позволяет внедрять защитные политики прямо в процессе разработки.
- Снижает вероятность критических ошибок, таких как утечка конфиденциальных данных.
🛡️ Microsoft открыла skill для автоматического поиска рисков в AI-агентах
Новый run-assert-eval запускает полный цикл проверки агента из одного промпта в VS Code:
- Clarity ищет потенциальные failure modes;
- ASSERT превращает их в eval-тесты и измеряет нарушения;
- ACS генерирует runtime-политику для блокировки опасных действий;
- затем агент прогоняется на тех же тестах повторно, чтобы проверить, действительно ли защита сработала.
В примере Microsoft агент поддержки раскрывал данные чужого клиента в 30% применимых тестов. После добавления runtime-контроля показатель снизился до 5,9%.
найти риск → измерить → добавить защиту → доказать результат повторным eval.
ASSERT и Agent Control Specification доступны в open source.
Анонс Microsoft - https://commandline.microsoft.com/run-assert-eval-responsible-ai-agent-risk-discovery-at-runtime/
Кратко (AI)
Microsoft представила инструмент run-assert-eval для автоматизированного тестирования и защиты AI-агентов. Система позволяет выявлять уязвимости, генерировать тесты и внедрять runtime-политики безопасности непосредственно в среде VS Code.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖