Релиз утилиты followthrough для отслеживания эффекта от PR
E@ProductsAndStartupsAI-инженер
4 недРазработчики представили followthrough — инструмент для ведения журнала изменений и автоматизации проверок результатов после деплоя PR.
Инструмент помогает разработчикам не забывать проверять реальную эффективность внесенных изменений.
- Позволяет формализовать ожидания от каждого PR до его деплоя.
- Автоматизирует напоминания о необходимости проверки результатов.
- Помогает принимать обоснованные решения об откате или сохранении изменений на основе данных.
В последние 3 недели делаю много PR-ов на пару с дружбаном, и, признаться, через день уже не сразу помню что и для чего я сделал, когда надо замерить эффект и тп. Поэтому у меня была открыта куча сессий в терминале , потому что в каждой из них была напоминалка, и из-за этого я даже не мог перезагрузить комп... В общем, полный mess
Поэтому мы с дружбаном сели и подумали, что не дело это все, и запилили простую утилиту - followthrough. Эдакий журнал изменений и проверок, которые по каждому надо сделать, чтобы принять решение: оставлять или откатывать.
Как работает:
1) когда агент что-то выкатывает, скилл просит записать: что поменяли, чего ждём - например, меньше ошибок определенного типа или ниже latency, и как это проверить
2) когда пришла пора проверить, то прилетает пуш - см аттач - и по клику открывает сессию с готовой инструкцией, что и как проверять. Я спецом пока не сделал запуск автоматом; как почувствую, что доверяю и все устраивает, включу и это
3) каждая проверка в итоге заканчивается вердиктом: сработало / нет / частично / непонятно или требует проверки позже из-за недостатка данных (например, трафика не было достаточно, чтобы вынести суждение) —> тогда проверка сама переносится.
Вот, например, час назад пришла проверка счета за мониторинг в google cloud: 4 дня назад с агентом сделали оптимизацию, чтобы сократить расходы, и что ожидаем падения счета по этой статье с $66 до $9 в месяц. Собственно, вердикт - сработало, и даже лучше ожидаемого - ожидаемые затраты будут в районе $2.65
Мне супер полезно + я доволен, что появляется дисциплина каждый PR четко соотносить с ожидаемым эффектом, и культура followup-ов. А не просто катнули в прода и забыли.
https://github.com/BayramAnnakov/followthrough

Кратко (AI)
Разработчики создали утилиту followthrough, которая помогает фиксировать ожидания от каждого PR и напоминает о необходимости проверки результатов. Инструмент позволяет отслеживать метрики, такие как latency или расходы, и выносить вердикт об успешности изменений, что способствует развитию культуры ответственного деплоя.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖