← к ленте

Arena Skill: турниры для сравнения и проверки навыков

И@AImademydayAI-инженер
1 нед

Arena Skill запускает турниры между навыками, помогает улучшать SKILL.md и тестирует устойчивость навыков к сложным запросам.

Битва скиллов 🔗 https://github.com/Jakeschincariol/arena-skill Создает команду /arena которая запускает турнир на вашей библиотеке установленных навыков и открывает три мощных практических сценария: 1️⃣ Сценарий 1. «Битва титанов» (Skill vs Skill Benchmark) Актуально если у вас установлены альтернативные или пересекающиеся скилы. Можно стравить их в соревновании на решение одной сложной практической задачи, чтобы объективно определить сильнейший подход или скомбинировать их сильные стороны. В моем случае 1я дуэль была по Аудиту безопасности
Участники: claude-security против security-audit-skill (Cloudflare). Задача: Провести аудит критического модуля (например, auth-сервиса или парсера). Судейство: Кто найдет более глубокие граничные уязвимости, допустит меньше false-positives и предложит более надежный патч.
Дуэль 2: Фронтенд-архитектура и скролл-дизайн
Участники: scroll-craft против компонентов magicui / shadcn Задача: Спроектировать архитектуру и интерактивный прототип высоконагруженного лендинга.
Дуэль 3: Мобильный стек
Участники:  react-native-skills против expo .
2️⃣ Сценарий 2. Эволюционная прокачка конкретного навыка Запускает турнир из 16 агентов (--quick) с задачей:
«Переписать архитектуру навыка X: убрать воду, внедрить строгие анти-AI-slop правила, структурировать вызовы L1/L2/L3, добавить четкие триггеры и скрипты верификации под стандарты PersonalOS».
16 субагентов с разными стратегиями (First Principles, Speed-focused, Adversarial, Academic, Pragmatic) создают свои варианты реализации. - В раундах атак они вскрывают слабые места в формулировках друг друга (галлюцинации путей, избыточность токенов, двусмысленность инструкций). На выходе получается единственный, максимально отточенный и выживший вариант SKILL.md. 3️⃣ Сценарий 3. Стресс-тестирование надежности навыка Проверка того, насколько установленный навык устойчив к сложным граничным условиям: - Агенты Арены выступают в роли «атакующих клиентов» с противоречивыми, сложными или вредоносными запросами. - Оценивается, насколько строго целевой навык удерживает контракт, не сваливается в ленивые ответы и соблюдает безопасность. === запустил свои и получил эталонный синтезированный пайплайн аудита по безопасности: 5-фазный регламент для аудита любого проекта в PersonalOS: 1. Recon & Ledger: Фиксация git-ревизии, подсчет файлов и генерация coverage-ledger.json. 2. Sandboxed Hunting: Запуск параллельных исследователей в изолированной среде без внешней сети. 3. 3-Lens Panel: Обязательная тройная верификация (Reachability, Impact, Defenses) перед признанием проблемы реальной. 4. Patch Specification: Генерация минимального атомарного патча. 5. Delivery: Формирование отчета REPORT.md и экспорта в SARIF.
Arena Skill: турниры для сравнения и проверки навыков

Кратко (AI)

Пост описывает Arena Skill — инструмент, который запускает турниры между установленными навыками, помогает эволюционно улучшать их и проверяет устойчивость к сложным запросам. Автор сообщает, что с помощью турниров получил пятифазный пайплайн аудита безопасности с проверкой находок и экспортом отчёта в SARIF.

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖