← к умной ленте

Исследование: чистота кода не влияет на успех ИИ-агентов, но заметно экономит токены

Новое исследование (arXiv 2605.20049, «Does code cleanliness affect coding agents? A controlled minimal-pair studyi») проверило, влияет ли качество кода на работу ИИ-кодинг-агентов. Для этого взяли 6 пар репозиториев — «чистую» версию в духе Роберта Мартина и «спагетти»-версию — и прогнали на них 33 задачи сотнями запусков Claude Codei на модели Sonnet 4.6i.

Главный вывод: сама успешность решения задач агентом от чистоты кода почти не зависит. Но чистый код заметно снижает «блуждания» агента и расход токенов — модели приходится меньше рассуждать, реже перечитывать уже открытые файлы и в итоге тратить меньше токенов на ту же задачу.

7–8%меньше токенов на чистом коде
34%реже возврат к отредактированным файлам
33задачи в исследовании
  • Методология: минимальные пары репозиториев (чистый код vs «спагетти-код» от уволившегося коллеги), 6 пар, 33 задачи, сотни прогонов
  • По данным CodeCamp: на чистом коде агент тратил на 7–8% меньше токенов, на 11% меньше рассуждал и на 34% реже возвращался к уже отредактированным файлам
  • По данным BOGDANISSSIMO: количество токенов, нужных для решения задачи, сокращается на 5–10%, а повторные чтения уже прочитанных файлов — на 10–50% в зависимости от сложности проекта
  • Тестировали на связке Claude Code поверх модели Sonnet 4.6
  • Пост на readhacker.news набрал 152+ очков за 13 часов
  • Открытые вопросы от автора поста: как поведут себя более умные модели (Opus/Fable) — предположительно разница будет ещё меньше; растёт ли число вызовов модели пропорционально числу повторных чтений; насколько исходная архитектура проекта влияет сильнее, чем просто чистота кода
Что дальше

Авторы поста отмечают невыясненные вопросы: как результаты изменятся для более продвинутых моделей (Opus/Fable), связано ли количество повторных чтений с ростом числа вызовов модели и скоростью выполнения задач, и насколько исходное качество архитектуры проекта влияет сильнее самой «чистоты» кода — это может стать темой дальнейших исследований.

Здесь появится ссылка, когда это произойдёт.

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖