Автор собрал из примерно 1270 собственных сессий в Claude Code, Codex и Pi 10 задач с автоматической проверкой и использовал их для сравнения разных сетапов кодовых агентов. Такой набор помогает оценивать, дают ли новая модель, дополнительный reasoningi или навыки практическое улучшение.
Для самостоятельного создания подобных тестов опубликованы гайд и скиллi, автоматизирующий большую часть работы.
~1270сессий кодовых агентов
10задач с автопроверкой
2026-10-16дата публикации
- Автор: Ибрагим Бад; исходная публикация размещена в X 16 октября 2026 года.
- Гайд: https://teletype.in/@ibragim_bad/fm5jSJvYb_5.
- Скилл для подготовки evalsi: https://github.com/ibragim-bad/evals-from-sessions.
- Результаты сравнения сетапов собраны на лидерборде: https://ibragim.dev/leaderboard/.
Гайд и скилл доступны для тех, кто хочет собрать собственные тесты; на лидерборде можно следить за результатами сравнения сетапов.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖