Автор собрал из примерно 1270 собственных сессий в Claude Code, Codex и Pi 10 задач с автоматической проверкой и использовал их для сравнения разных сетапов кодовых агентов. Такой набор помогает оценивать, дают ли новая модель, дополнительный reasoningi или навыки практическое улучшение.
Для самостоятельного создания подобных тестов опубликованы гайд и скиллi, автоматизирующий большую часть работы.
~1270сессий кодовых агентов
10задач с автопроверкой
2026-10-16дата публикации