Ловушка агрегированных метрик в продуктовой аналитике

Заметки на полях Ошибка продуктовых компаний: они часто измеряют то, что растёт, а не то, что объясняет экономику продукта Например, онлайн-кинотеатр измеряет часы просмотра и рапортует, что они выросли на 2%, примерно до X млн. часов. Но если аудитория при этом выросла быстрее, то watch hours per subscriber могли снизиться. То есть агрегированная метрика позволяет рассказать историю «engagement растёт», даже если средний пользователь смотрит меньше. Это универсальная ловушка: для растущих платформ абсолютные метрики почти всегда выглядят лучше когортных. Поехали дальше. Но возможно, watch hours per subscriber вообще не главная метрика онлайн-кинотеатра. Пользователь платит не за каждый просмотренный час. Он платит за опциональность: «Когда мне захочется что-нибудь посмотреть, у сервиса будет что предложить». Ценность продукта не обязана быть пропорциональна интенсивности использования. Поэтому человек, который посмотрел онлайн-кинотеатр 8 часов, необязательно менее ценен или менее удовлетворён, чем человек, посмотревший 25. Для бизнеса гораздо важнее: есть ли у пользователя достаточно причин не отменять подписку? Поэтому engagement надо связывать не с количеством часов, а с вероятностью продления подписки. Интересная продуктовая метрика могла бы выглядеть скорее так: контент → просмотр → ценность → retention → revenue. И тогда может оказаться, что дополнительные 10 часов просмотра почти ничего не дают retention.А один сериал, который человек действительно ждал, даёт очень много. То есть не все часы одинаковы. Более того: разные типы просмотра имеют разную экономическую ценность. Час прямой трансляции ЧМ по футболу и час сериала одинаково попадут в метрику watch hours. Но бизнес-эффект может быть совершенно разным. Сами понимаете, почему.