Anthropic выпустил для Claude API/Claude Code два новых скилла — build-eval и hillclimbi, которые превращают создание приложений и бизнес-процессов в автоматическую оптимизацию по метрикам, а не в написание кода вручную. Достаточно задать цель (например, «100% клиентов, готовых оплатить, доходят до конца процесса»), и Claude сам анализирует логи, тикеты поддержки и трейсы, генерирует гипотезы, вносит изменения и проверяет, улучшилась ли метрика — по одному изменению за раунд.

Подход не убирает человека из процесса, а меняет его роль: вместо придумывания и реализации гипотез владелец продукта теперь формулирует чёткие, не поддающиеся подмене метрики успеха. По мнению одного из авторов, это необходимое условие для «software factories», самоуправляемых продуктов и AI-native организаций.

• build-eval работает как интервьюер: собирает эвалi прямо в репозиторий и проверяет его на однозначность кейсов, стабильность грейдера и достаточную точность для фиксации улучшений
• hillclimb делит кейсы на train и test и сохраняет изменение только если метрика выросла на обоих наборах — подход похож на autoresearch
• Автор EDU протестировал скиллы на скоринге лидов в Onsa: включение явного кэша промпта Gemini дало те же 20 из 20 правильных ответов при снижении стоимости вызова на 34%
• Снижение thinking efforti с medium на low ускорило работу на 60%, но с потерей качества на смоук-тесте с лимитом $10
• Полноценный прогон на 616 кейсах за $17 показал: цена упала на 25%, скорость выросла в 2.6 раза, но доля потерянных хороших лидов выросла с 1.4% до 4.3%
• Формально тест по качеству не прошёл, но автор решил внедрить изменения, поставив follow-through проверку через неделю
• Версия скилла из PR была вмерджена в тот же вечер — для обновления достаточно обновить скилл