Закон Гудхарта: как избежать манипуляции метриками

Закон Гутхарда: как НЕ хакнуть метрики Мы выполнили KPI по регистрациям на 120%. Хорошо? Ну да, а чего же. Пошли на выручку смотреть, а она упала. Копнули глубже трафик, оказалось, что ботов нагнали. Премия получена, но в целом компании нехорошо. Пожалуйста, словили закон Гутхарда. Капелька истории В 1975 году британский экономист Чарльз Гудхарт сформулировал закон, который звучит так: «Когда метрика становится целью, она перестает быть хорошей метрикой». Простыми словами как только вы привязываете к конкретному показателю бонус, повышение или оценку успеха команды, люди перестают делать хороший продукт. Они начинают «хакать» систему и оптимизировать все под одну цифру даже в ущерб здравому смыслу. Примеры, когда плохо Посмотрим как не надо делать. 💩 Разработка Цель - количество строк кода. Итог: разработчики пишут раздутый код без рефакторинга. 💩 QA и Баги Цель - количество закрытых багов. Итог: тестировщики заводят микро-баги (опечатки, съехавший пиксель), а разработчики их героически фиксят. Реальные проблемы висят в бэклоге. 💩 Продукт Цель - увеличить дневную аудиторию. Итог: команда начинает спамить юзеров кликбейтными пушами. Люди заходят, плюются и закрывают приложение. DAU растет, Retention и лояльность летят в пропасть. Как лечить Два простых правила. 1. Используйте метрики-противовесы Если измеряете скорость ответа поддержки (Time to resolve), обязательно трекайте удовлетворенность (CSAT). Ускорение не должно ломать качество. 2. Не привязывайте мотивацию к одной прокси-метрике KPI должны быть комплексными и привязанными к финальной ценности для бизнеса (например, LTV или Profit), а не только к промежуточным шагам.

Бонус Если внутри компании используете North, то она неплохо будет калибровать вас и подсветит не свернули ли вы не туда в погоне за красивыми дашбордами.

Примеры, когда хорошо Посмотрим как надо. 😍 Маркетинг и Рост Цель: Снизить CPA (стоимость привлечения) или увеличить количество регистраций. Противовес: Retention 7/30 дня (Удержание) или LTV. Почему это работает: Защищает от налива дешевого «мусорного» трафика или мотивированного инсталла. Маркетологи больше не смогут выполнить KPI, просто приведя ботов или нецелевую аудиторию - им придется следить за тем, остаются ли эти люди в продукте. 😍 Разработка и DevOps Цель: Time-to-Market (скорость выкатки фич) или Velocity в стори-поинтах. Противовес: Change Failure Rate (процент релизов, приведших к сбоям) или количество багов на проде. Почему это работает: Команда не сможет гнать сырой код в продакшен просто ради того, чтобы закрыть спринт. Скорость уравновешивается стабильностью системы. 😍 E-commerce и Монетизация Цель: Conversion Rate (Конверсия в покупку). Противовес: AOV (Средний чек) и Margin (Маржинальность). Почему это работает: Самый простой способ задрать конверсию — раздать огромные скидки. Продажи взлетят, конверсия будет зеленой, но бизнес сработает в минус. Парная метрика заставляет команду искать баланс между объемом продаж и прибылью. Нюансы и конец Многие думают, что проблема в самих метриках, но закон Гудхарта работает тупо на человеческой психологии. Мы идем по пути наименьшего сопротивления. Человек не будет себе осознанно усложнять жизнь, а раз так, то зачем заведомо ему ставить цели, которые захочется хакнуть? #продуктовыеметрики