Microsoft представила skill run-assert-evali, который прямо из одного промпта в VS Code запускает полный цикл проверки AI-агента на опасное поведение — от поиска потенциальных сбоев до автоматической установки защитных правил и повторного тестирования.

Инструмент важен тем, что закрывает практический разрыв в responsible AI: раньше поиск рисков, их измерение и устранение делались вручную и разрозненно, теперь это единый воспроизводимый пайплайн с доказуемым результатом.

• Пайплайн состоит из трёх компонентов: Clarityi ищет потенциальные failure modes агента, ASSERT превращает их в eval-тесты и измеряет число нарушений, ACS (Agent Control Specification)i генерирует runtime-политику, блокирующую опасные действия.
• После добавления защиты агент повторно прогоняется на тех же тестах, чтобы проверить, действительно ли runtime-контроль сработал.
• В демонстрационном примере Microsoft агент поддержки клиентов раскрывал данные чужого клиента в 30% применимых тестов.
• После добавления runtime-контроля от ACS этот показатель снизился до 5,9%.
• ASSERT и Agent Control Specification (ACS) выложены в open source.
• Общая логика инструмента: найти риск → измерить → добавить защиту → доказать результат повторным eval.
• Анонс опубликован на сайте Microsoft: commandline.microsoft.com/run-assert-eval-responsible-ai-agent-risk-discovery-at-runtime/.