← к ленте

Гайд по созданию evals из сессий с кодовыми агентами

С@seeallochnayaAI-инженер
1 нед

Автор собрал 10 задач с автоматической проверкой из сессий с Claude Code, Codex и Pi и написал гайд и скилл для создания таких evals.

Из сессий с агентами получаются готовые evals Каждый раз, когда выбираю сетап для кодового агента, я немного гадаю. Лучше ли эта новая модель? Помогает ли больше reasoning? Помогают ли эти скиллы? Поэтому из ~1270 своих сессий в Claude Code, Codex и Pi я собрал 10 задач с автоматической проверкой и прогнал на них разные сетапы. Сделал пару публикаций про это, у меня спросили про то, как такое сделать самим. Поэтому вот! Написал гайд + скилл, который делает большую часть работы 📊 Гайд: https://teletype.in/@ibragim_bad/fm5jSJvYb_5 🛠 Скилл: https://github.com/ibragim-bad/evals-from-sessions 🏆 Лидерборд: https://ibragim.dev/leaderboard/ оригинал в X: https://x.com/ibragim_bad/status/2111102467924496721?s=20

Кратко (AI)

Автор описывает, как превращать сессии с кодовыми агентами в задачи для оценки их работы. Он собрал 10 задач с автоматической проверкой из примерно 1270 сессий в Claude Code, Codex и Pi, а затем подготовил гайд и скилл, который автоматизирует значительную часть процесса.

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖