Anthropic добавила функции eval и hillclimb в Claude Code

Легендарная штука от Антропика: теперь создание любого приложения или бизнес-процесса это автоматическая автоматизация, а не исполнение кода. В ML любая система создается через обозначение количественных метрик (эвалов) и последовательность экспериментов, которые приближают к ним (карабкание по топологическому холму, hillclimb). Антропик добавил две этих команды (eval и hillclimb) в API Клод-кода, так что теперь вы можете определить цель своего приложения, например, 100% клиентов которые хотят оплатить доходят до конца процесса. Клод будет анализировать тикеты поддержки, логи, трейсы и прочие данные, формировать гипотезы и автоматически создавать изменения, проверяя каждый раз насколько улучшилась метрика. Именно такой подход автоматической оптимизации это то, что необходимо для создания эффективных software factories, самоуправляемых продуктов и AI-нейтив организаций. Это не делает работу полностью автоматической — скорее, наоборот, ваше участие тут становится только важнее. Но вместо придумывания гипотез или, боже упаси, их реализации, задача владельца продукта или процесса сводится к установлению четких метрик и критериев их достижения, которые нельзя обмануть или оверфитнуть.