Как OpenAI использовала агентов для чистки кода и ускорения CI

А вот от OpenAI – про агенты, которые не пишут новое, а чистят старое Пишет команда Core Experimentation, которая отвечает за систему экспериментов во всей компании. Раньше мертвый код искали статическим анализом плюс рантайм-логи, и все равно бывали инциденты из-за ошибочных удалений. Что сделали: – GPT-6 Astra дали один расплывчатый промпт (прямо с опечатками): найди мертвый код, проверь в Slack, Statsig и где угодно, что он не используется. Вот чего писали :) Can you help identify and clean up dead code in the repo please, feel free to check slack, statsig [a feature flag and experimentation platform we use], or any other source you need to confirm that things are indeed no longer being used and can be cleaned up or simplified – модель сама смотрела старые PR, треды в Slack, трекеры и прод-профилирование, и объясняла каждое удаление – 5 инженеров между делом за две недели смержили 1 400+ PR и удалили 800k+ строк – образ одного сервиса похудел с 3.31 до 1.72 GB, из тестов ушло около 400 вариантов визуальных снапшотов Дальше – устаревшие эксперименты и фичефлаги. Это сложнее, потому что такой код может еще выполняться в проде. Промпт для полного аудита они попросили написать саму модель, и она же посчитала стоимость каждого флага по CPU. Нашелся флаг, который годами незаметно размножал проверки на все фичи сразу. Модель его не удалила сама, а подняла на ревью человеку, потому что он был помечен как "Permanent". После удаления – около 0.42% экономии CPU на сервисе. Самое практичное – сравнение моделей на одном аудите (6 000 файлов, 1 млн строк на Python, TS, Go и Rust): – GPT-6 Astra Ultra: $109.06, 142 находки, $0.77 за находку – GPT-6.1 Sol Ultra: $15.12, 131 находка, $0.12 за находку – GPT-6.1 Sol Medium: $5.27, 86 находок, $0.06 за находку То есть 92% находок за 14% цены. Разницу разобрали – Sol пропускал флаги, от которых зависят другие флаги, и это компенсировали промптом. То есть можно добить среднюю модель до лучшей просто нормальным промптом. Плюс CI: модель предложила оптимизации по истории прогонов, смержили около 30 PR, медиана CI упала с ~10 до 4.5 минут, p90 – с 12.5 до 6. Один набор из 63 тестов ускорился с 592.6 до 29.8 секунд. Вот таким вот базовым промптом: What ideas do you have to relieve CI load in this repository? List your ideas in a table and rank all of them by estimated CI minutes saved per day based on this repo's CI run history :) Прикол, что они честно пишут: часть предложений добавляла больше сложности, чем пользы. Модель находит столько оптимизаций, что без приоритизации и метрик в них тонешь. Короче, берите одну мелкую задачу (мертвый код, флаг, флаки-тест), сравните модели и уровни effort, а комментарии из ревью скармливайте в следующий промпт. Когда все ок - можно масштабировать на более крупные вещи. Для любой компании с легаси это самый быстрый ROI от агентов. https://developers.openai.com/blog/maintaining-software-with-the-gpt-6-family