Мы должны вести пользователей создавать личный кабинет У меня очередной примерчик в коллекции: Мы посмотрели статистику и оказалось, что пользователи, у которых есть личный кабинет, покупают у нас чаще. Поэтому мы должны вести всех пользователей создавать личный кабинет. Необязательно. Возможно, просто более лояльные пользователи, которым нравится у вас покупать, создают личный кабинет, а те, кто случайно мимо проходил, не создают. Если вы будете вести этих проходящих мимо создавать личный кабинет, вы отвлечёте их даже от тех одиночных покупок, которые они сейчас совершают. В итоге личный кабинет будет всё у большего числа людей, но всё меньшая их доля будет покупать. Среди тех, у кого личного кабинета нет, тоже будет покупать меньшая доля, чем сейчас.

🐍 Как сделать автоматизацию 100% одной фразой 🎤 В 2018 году в одной крупной компании проходила презентация чат-бота. Команда защищала метрику автоматизации. Один из топ-менеджеров выслушал доклад и сказал: — Я знаю, как одной фразой довести вашу автоматизацию до 100%. 📊 В 2020 году уже в другой крупной компании топ-менеджера уволили за то, что он слишком успешно растил автоматизацию. Автоматизацию растили. Топ-менеджера сократили. Баланс всё-таки нашёлся — просто не там. 🤖 В 2026 году помощь понадобилась одному AI-директору. Он обратился во внутренний хелпдеск, но ответа не получил: годом ранее компания успешно выполнила цели по внедрению AI и сократила поддержку. AI внедрили. Помогать стало некому. Когда-то я уже выпускал статью о том, как сделать контактный центр автономным. Похоже, кто-то воспринял слово «автономный» слишком буквально: теперь контактный центр не зависит ни от операторов, ни от обращений, ни от необходимости кому-то отвечать. Что общего у этих историй? У метрики автоматизации есть неприятная особенность: она не умеет отличать ситуацию «клиенту помогли» от ситуации «клиент не смог ни до кого достучаться». В обоих случаях оператор не понадобился. Поэтому автоматизацию нельзя растить без второй метрики, которая показывает, не стало ли клиентам хуже. Иначе вместе с автоматизацией можно незаметно вырастить отток, а повторные покупки и кросс-продажи — так же незаметно сократить. 🐍 Говорят, на змею не действует собственный яд. Но в этой истории в конце концов подействовал. Правда, это был яд других гадюк. 💬 А теперь вопрос: какая одна фраза может сделать автоматизацию чат-бота 100%? Пишите свои версии в комментариях 👇

Маркетинг под давлением В кризисе маркетинг становится инструментом выживания. Чтобы понять, приносит ли он результат, важно оценивать не только финансы, но и долгосрочное влияние на бренд. Финансовая сторона очевидна: рост выручки, сокращение убытков, повышение среднего чека. Но этого недостаточно. Настоящий успех виден в том, как меняется отношение к компании: растёт узнаваемость, увеличивается органический трафик, клиенты сами ищут ваш бренд. Ключевые метрики: CAC (Customer Acquisition Cost) — привлечение клиента должно быть дешевле, чем прибыль от него. ROI — соотношение затрат и дохода от маркетинга. Рост клиентской базы — показатель доверия и лояльности. Конверсия — насколько эффективно интерес превращается в продажи. CPL (Cost per Lead) — цена лида, которая должна быть оправдана его качеством. Системный анализ этих показателей помогает увидеть, где кампания сильна, а где требует доработки. Фаундер | Бизнес и Стартапы

5 Growth-кейсов применения AI для продактов Представьте обычный понедельник продуктовой команды. На дашборде всё более-менее знакомо: трафик растёт, регистрации идут, но дальше начинается классика. Половина новых пользователей не доходит до первой ценности, Trial не конвертируется так, как хотелось бы, Retention постепенно проседает, а команда снова обсуждает, какую гипотезу тестировать следующей. В этот момент почти неизбежно появляется идея: "А давайте добавим AI". Проблема в том, что это неправильная точка старта. Гораздо интереснее спросить: где именно в нашей воронке юзер теряет ценность - и может ли AI это изменить? Если посмотреть на AI через эту призму, я вижу пять особенно интересных Growth-кейсов. 1. Activation. Представьте сложный B2B-продукт. Один пользователь пришёл построить отчёт для CEO, другой - автоматизировать процесс, третий - просто проверить, подходит ли ему продукт. Но всем троим мы показываем один и тот же Onboarding из пяти экранов. AI позволяет развернуть этот сценарий. Вместо "вот наш продукт, разбирайся" начать с простого вопроса: "Что вы хотите получить?" Дальше система понимает JTBD, адаптирует Onboarding, помогает настроить продукт и ведёт человека к первому полезному результату. В таком сценарии меня интересует не количество диалогов с AI, а сократился ли Time-to-Value и вырос ли Activation Rate. 2. Conversion. Большая часть персонализации сегодня всё ещё работает по принципу: пользователь попал в Segment X - показываем Offer Y. Но два человека из одного Segment могут находиться в совершенно разном контексте. Один уже почти готов купить, другой пока пытается понять базовую ценность продукта. AI даёт возможность персонализировать не только баннер или рекомендацию, а сам путь к покупке: аргументацию, CTA, Landing, предложение тарифа, следующий шаг. То есть перейти от Segment → Rules → Experience к Context → Intent → Personalized Experience. И снова важно не попасть в ловушку Vanity Metrics: если CTR вырос, а Trial → Paid остался прежним, Growth-кейса здесь нет. 3. Retention. Мне кажется, это один из самых недооценённых сценариев. Пользователь часто уходит не потому, что продукт плохой, а потому что в какой-то момент перестаёт понимать, что делать дальше. Особенно в сложных B2B, Analytics и Productivity-продуктах, где ценность появляется после последовательности действий. Здесь AI может превратить продукт из набора функций в систему, которая понимает контекст и говорит: "Вот следующий лучший шаг, который приблизит тебя к результату". Если это действительно работает, мы должны увидеть эффект уже не в AI Engagement, а в повторном достижении Value Event, D7/D30 Retention и Churn. 4. Monetization. Классический Upsell выглядит примерно так: "Вы использовали 80% лимита - купите Pro". Это удобно для продукта, но не обязательно полезно для пользователя. Гораздо интереснее определить момент, когда платная Capability действительно помогает человеку решить его текущую задачу. То есть искать не момент, когда мы можем продать, а момент, когда пользователю выгодно купить. Если AI понимает Intent и контекст достаточно хорошо, Upsell перестаёт быть рекламной вставкой и становится естественной частью пользовательского результата. Тогда уже имеет смысл смотреть на Free → Paid, ARPU, Expansion Revenue и NRR. 5. Скорость экспериментов самой продуктовой команды. У продакта постоянно копятся User Interviews, Support Tickets, Reviews, Product Analytics, результаты прошлых экспериментов. Сигналов много, а времени на их синтез мало. AI здесь может работать как Product/Research Copilot: собирать эти сигналы вместе, находить повторяющиеся проблемы, помогать формулировать гипотезы и анализировать результаты. Ценность появляется, если сокращается весь цикл Signal → Hypothesis → Experiment → Learning → Decision, а команда за то же время принимает больше качественных продуктовых решений. Не так важно, сколько пользователей нажали на кнопку с бонусом. Важно, изменилось ли что-то дальше на всем пути юзера.

Cancellation flow ловит только тех, кто дошёл до кнопки. А основной отток начинается за недели до неё Делюсь свежим разбором cancellation flows от Userpilot. Главная мысль там довольно простая: отмена подписки - это не момент churn, а его финальная стадия. 96% недовольных пользователей уходят, так и не оставив никакого фидбека. Они не пишут в поддержку и не объясняют, что пошло не так. Просто начинают реже заходить, перестают получать ценность и в какой-то момент отменяют подписку. При этом сам cancellation flow работает. Хорошо настроенный флоу может сохранить 10–34% пользователей, которые уже решили отмениться; Churnkey приводит средний save rate по своей платформе в 34%. Но проблема в том, что до этого экрана ещё нужно дойти. Поэтому в статье предлагают строить защиту от churn в три слоя: 1. За 30+ дней до отмены: поведенческие сигналы. Смотрим не на то, что пользователь говорит, а на то, как меняется его поведение: • зашёл в billing после долгой паузы • много логинов, но нет результата • перестал использовать фичу, которой раньше пользовался регулярно • внезапно перестал писать в поддержку Последнее особенно интересно: отсутствие активности - тоже данные. Иногда пользователь перестал жаловаться не потому, что проблема решилась, а потому что перестал верить, что она решится. 2. За 2–4 недели: проактивное вмешательство. Когда появились такие сигналы, задача дойти до пользователя, пока он ещё хочет, чтобы продукт у него получилось использовать. На этом этапе ещё можно понять, где он застрял, вернуть к ключевой ценности или помочь разобраться. Когда человек уже нажал Cancel, пространство для этого сильно меньше. 3. У самой кнопки Cancel: причина, затем релевантный оффер. И только здесь появляется привычный cancellation flow. Сначала спрашиваем, почему человек уходит. Потом предлагаем решение именно этой причины: дорого - даем скидку слишком большой тариф - предлагаем дешевле сейчас не нужен продукт - предлагаем паузу И порядок здесь важен: сначала причина, потом оффер. Иначе мы просто показываем всем одну и ту же скидку, не понимая, почему человек вообще решил уйти. Отдельно интересна пауза. По данным из разбора, 25% тех, кто собирался отменить подписку, выбирают паузу, если такая возможность есть. Цена тоже остаётся огромным фактором: 34% ушедших пользователей сказали, что их могла бы удержать скидка, ещё 34% - более низкая цена. Поэтому даунгрейд и скидку действительно стоит иметь во флоу, но показывать их тем, для кого проблема именно в цене. Источник: userpilot.com/blog/cancellation-flow-examples/ #PG_education @productgames

Иногда лучший инструмент для роста продукта - это ограничения понятных сценариев Представьте себе сценарий: вы организовали встречу, создали для коллег доску с материалами, кидаете им ссылку и приглашаете к совместной работе. Коллега кликает, переходит и начинает работу. Максимально удобная концепция для пользователя, но бесполезная для роста самого продукта. Но как найти те самые сценарии, которые можно ограничить и получить пользу? В этом году в досках, мне предстояло найти новые точки роста продукта, как в пользовательских метриках, так и в деньгах. Сегодня поговорим об ограничениях, которые помогают продавать и растить продукт. Какие ограничения мы ввели в продукте за последние годы? • Ограничение на шеринг ссылок на редактирование в бесплатной команде (шерить можно, но только тиммейтам или на платном тарифе) • Ограничение на количество бесплатных команд (только 1 штука) • Ограничение на количество бесплатных досок (только 3 штуки) Особенно интересно как на продукт повлияло внедрение ограничение на ссылку: 1. Пользователи в момент стали приглашать больше коллег в команды (приглашение работает через почту или специальную ссылку) 2. Количество новых пользователей, которые зарегистрировались в сервисе выросло в 2 раза 3. Мы трекаем период активности новых пользователей, так вот - те, пользователи, которые прошли через сценарий приглашения - чаще активны 4. MAU сервиса за счет изменений вырос на 10% (хотя должен был упасть в рамках летнего периода) 5. MRR продукта вырос на 15% Как именно мы выделили этот сценарий? 1. мы смотрели на сценарии использования досок сверху вниз по дереву сценариев, 2. внедряли те или иные изменения и смотрели на метрики, 3. очень важным было наличие подобных ограничений у конкурентов, 4. но внедрить их одномоментно - нельзя, потому что не ясно будет поведение пользователей. При внедрении ограничения в сценарий Вы должны учитывать гипотезу изменения, например, ограничение потенциально влияет не только на регистрации, а на другие метрики: • conversion to sign-up; • activation rate; • количество приглашений на пользователя; • team creation rate; • долю пользователей, создавших первую доску; • retention; • количество рабочих пространств; • conversion в платный тариф. Смотрите не только на конкретную метрику, но и стройте гипотезу сценария: доска→совместная работа→приглашение коллег→команда→новые доски→новые приглашения Если есть инструменты, которые помогут выделить когорты (например, Mixpanel), то постройте анализ там, чтобы видеть изменения по когортам пользователей. Продолжение следует... в следующей части про активацию пользователей в продукте Черный продакт в MAX

что такое build in public тренд в 2026м году 😎 build in public - это когда кто-то делает продукт открыто, то есть частично делится метриками и решениями в реальном времени. Началось это с инди-хакеров типа Питера Левелса aka levelsio (он кстати еще ангелом в cursor заходил) в середине 2010х, сейчас это уже мейнстрим - половина стартап-твиттера живет и растит аудиторию именно так зачем это нужно? 🤔 Аудитория b-i-p - это почти всегда другие фаундеры и технари, а не твои пользователи, поэтому b-i-p это в первую очередь канал дистрибуции для личного бренда фаундера, а не реклама продукта. Ну и свежий тренд - показывать метрики и решения, нишу, но продукт явно не называть. AI клон рабочего продукта собирается за недели (а то и быстрее), и по сути конкурентам отдается не только идея, но и валидация: вот ниша, вот работающий пейволл, вот юнит-экономика - копируйте не гипотезу, а проверенный ответ. Правда, цифры без продукта непроверяемы и часть таких аккаунтов это просто сторителлинг с нарисованным мрр, и наверняка читатели это понимают. Есть даже проекты которые проверяют метрики из revenue cat и дают "сертификацию" что метрика реальная 🐵 как по мне, прятать проект имеет смысл только в трех случаях, и кстати ни один не мой 1. сомнительная аппка - около скам в духе упражнений чтобы стать выше, лукмаксинг, похудей за 7 дней, шадоу-механики - про такое обычно не пишут, но вот метрики там красивые 2. аудитория b-i-p не пересекается с ЦА и зашумляет аналитику на старте. У нас половина платящих - парни, часто технари, которые хотят выглядеть стильно. Я регулярно нахожу супер-юзеров прямо из своего твиттера и для меня лично это тоже канал привлечения, пусть и не самый большой 3. бесплатная валидация новой ниши для клонов. Я видела минимум 6 наших копий в апсторе, скриншоты и креативы прям с нашими креаторами воруют регулярно, один раз даже вместе с моим лицом (видимо, решили, что я сгенерированная 😧) но все эти клоны появились не из моих твитов, а просто потому что аппка есть в сторе, реклама есть в инсте/тик токе, скрытый b-i-p от этого не спасает продукт с тех стеком уже пару лет как не конкурентное преимущество, дистрибьюшен уже тоже скоро им не будет, а вот личный бренд фаундера и комьюнити вокруг приложения быстро не скопировать - поэтому я думаю, что когда основатель публично пишет про свой продукт это всегда в плюс. Ну и совсем все детали вам рассказывать не обязательно - достаточно пары метрик которые вы выбираете сами, причем они не должны всегда расти, ведь интересно как вы справляетесь (или не справляетесь) с трудностями 🤵 @neural_prosecco

Заметки на полях Ошибка продуктовых компаний: они часто измеряют то, что растёт, а не то, что объясняет экономику продукта Например, онлайн-кинотеатр измеряет часы просмотра и рапортует, что они выросли на 2%, примерно до X млн. часов. Но если аудитория при этом выросла быстрее, то watch hours per subscriber могли снизиться. То есть агрегированная метрика позволяет рассказать историю «engagement растёт», даже если средний пользователь смотрит меньше. Это универсальная ловушка: для растущих платформ абсолютные метрики почти всегда выглядят лучше когортных. Поехали дальше. Но возможно, watch hours per subscriber вообще не главная метрика онлайн-кинотеатра. Пользователь платит не за каждый просмотренный час. Он платит за опциональность: «Когда мне захочется что-нибудь посмотреть, у сервиса будет что предложить». Ценность продукта не обязана быть пропорциональна интенсивности использования. Поэтому человек, который посмотрел онлайн-кинотеатр 8 часов, необязательно менее ценен или менее удовлетворён, чем человек, посмотревший 25. Для бизнеса гораздо важнее: есть ли у пользователя достаточно причин не отменять подписку? Поэтому engagement надо связывать не с количеством часов, а с вероятностью продления подписки. Интересная продуктовая метрика могла бы выглядеть скорее так: контент → просмотр → ценность → retention → revenue. И тогда может оказаться, что дополнительные 10 часов просмотра почти ничего не дают retention.А один сериал, который человек действительно ждал, даёт очень много. То есть не все часы одинаковы. Более того: разные типы просмотра имеют разную экономическую ценность. Час прямой трансляции ЧМ по футболу и час сериала одинаково попадут в метрику watch hours. Но бизнес-эффект может быть совершенно разным. Сами понимаете, почему.

Интересное про ChatGPT как продукт. Если кто не знал, вся AI индустрия держится на двух китах - OpenAI и Anthropic, на которые по разным оценкам (Wells Fargo, Barclays и др.) приходится 85-90% всего мирового спроса на AI компьют! И 70%+ AI выручки гиперскейлеров - тоже от них. А не от собственных AI продуктов, у которых есть фантастические возможности дистрибьюции (как у Майкрософта например). ChatGPT - главный consumer продукт всей индустрии, поэтому по его трендам можно делать какие-то выводы обо всем мировом genAI. 1️⃣ Многие заметили, что с недавних пор Револют на своих тарифах бесплатно предлагает подписку ChatGPT Go вместо Perplexity. Нередко компании делают так, чтобы в отчетности увеличить число юзеров платных тарифов. Например Perplexity их считал как платных, но на бумаге была строка Discounts and Refunds с большим убытком, почти в половину выручки! (в этом посте есть картинка с примером отчетности). 2️⃣ Но самое интересное, что в начале года OpenAI планировало падение числа $20/m подписчиков Plus с 44 млн до 9 млн! (the information) При этом число более дешевого тарифа Go должно было вырасти с 3 млн до 112 млн. И это должен быть самый быстрый в истории рост базы платных подписчиков. Сначала OpenAI стал раздавать Go бесплатно в Индии, потом были еще акции (Shopee и др.), а сейчас дело дошло до 75 млн клиентов Революта - теперь каждый из них может по сути бесплатно пользоваться Go. 3️⃣ Аналитики пишут, что такие сложности, да и сам новый тариф Go потребовались, потому что ретеншн на Plus за $20/мес уж очень плох, и даже общее число стало падать. Поэтому придумали такой витиеватый план показать бурный рост юзеров платных тарифов. Кстати по майским инсайдам The Information конверсия из бесплатного в платный, когда были только Plus/Pro - 2,58%, а с появлением Go уже почти 6% - я об этом писал, что у революционного технологического продукта не может быть конверсия в платного на уровне плохих бенчмарков b2c. А саму конверсию я посчитал точно - 2-3%, почти полтора года назад. 4️⃣ OpenAI не смог достичь собственных прогнозов на 2025 год в 1 млрд WAU у ChatGPT, даже к лету 2026 число пользователей растет крайне медленно. Я тоже писал, что ChatGPT больше некуда расти - просто нет столько людей в мире. А значит и сложно впечатлять инвесторов ростом выручки. 5️⃣ Есть прикольное жопокрутство от OpenAI: про b2b юзеров компания пишет paying business users, а про b2c - просто consumer subscribers. То есть там очевидно есть те, кто пользуется Go или другими тарифами, но не платит. При этом техкранчи и рейтерсы пишут сразу про всех paid users. Ну да, это же мелочи (нет). 6️⃣ Короче говоря, самый популярный из AI продуктов и единственный AI продукт среди популярных, ChatGPT - сталкивается со своими сложностями. Считаю, что все, кто как-то планирует бенефициировать на AI, должны следить за динамикой ChatGPT и его метриками. Потому что у остальных горизонтальных AI продуктов они почти всегда хуже 🥲 @kyrillic

Помогает ли обращение к клиентам по имени? Звоню тут в одну компанию, задаю свой вопрос, а девушка вместо ответа такая: — Подскажите, как могу к вам обращаться? И потом в разговоре постоянно говорит «Илья» в неожиданных местах. Раздражает и сам исходный вопрос, и противоестественное использование ответа в дальнейшем разговоре — люди не называют имена друг друга так часто. Каждый раз, когда я сталкиваюсь с подобными тупыми вещами, я слышу что-то вроде «ну это тебя бесит, но большинству нравится». Поэтому я всегда сомневаюсь, может, я зря по себе сужу? Взять уродские открытки на праздники в Вотсапе — очевидное дерьмо, но люди обмениваются ими и, видимо, через это чувствуют какой-то контакт и внимание. Или искусственное подсмехивание в ситкомах — тоже бесит, но вроде как измеримо повышает зрительские симпатии. Вероятно, существует и какая-то теория, что насильственное обращение по имени положительно влияет на лояльность клиентов? Я готов был бы смириться с этим, если бы знал, что это хоть и бесит, но хотя бы работает. Однако ведь наверняка все эти компании это используют просто потому что где-то слышали, что так надо. Они не знают, есть ли от этого прок, и даже вопросом таким не задаются, просто верят. Им кажется, что «хуже не будет», хотя так и хуже. Так вот вопрос. А как это вообще померить?

Чек-лист, что должен проверять продакт в AI-продуктах и чатах в частности 1. Правило 5–10 кейсов. Составь базвый золотой датасет из 5–10 эталонных юзкейсов (например, для AI-саппорта: возврат денег, смена адреса, жалоба на хамовитого курьера) и автоматизируй их проверку. 2. Один скорер = одно измерение. Главная ошибка PM - оценивать ответ модели одной общей метрикой «хорошо/плохо». Для кейса с возвратом денег разбей оценку на три отдельных скорера: • Точность (Accuracy): нашел ли бот правильную транзакцию? • Тон (Tone): вежлив ли бот, выразил ли эмпатию? • Безопасность (Policy): не пообещал ли бот возврат денег в обход регламента? 3. Human Review нельзя убирать. Автоматический код легко проверит, сделал ли бот запрос к базам данных. Но оценить, не звучит ли ответ как бездушный робот, пока может только человек. 4. Разрыв между топом и медианой. Команды с авто-эвалами видят, что новое обновление модели сделало бота супер-вежливым, но снизило точность поиска заказов на 10% и откатывают деплой. Команды без эвалов выкатывают регресс в прод и ловят волну негатива от клиентов. 5. 3 фазы внедрения на примере AI-саппорта: • Инкубация: собираем золотой датасет частых вопросов клиентов. • Шлифовка: weekly-демо, жесткие критерии (*«бот должен прикрепить ссылку на форму возврата, но не закрывать тикет сам»*) и просмотр цепочки рассуждений бота (Debug Mode). • Масштабирование: авто-тесты перед каждым деплоем и Slack-канал, куда автоматически падают все «дизлайки» от пользователей с логами беседы. 6. Чек-лист: как внедрить Evals за 5 шагов: • Собери реальные логи чатов, где бот ошибся. • Сформируй из них точечный датасет на 10–50 примеров. • Сравни две версии промпта side-by-side на одном и том же датасете. • Настрой автоматический ночной прогон тестов (Nightly Evals). • Настрой алерты на дизлайки пользователей прямо из продакшена. 7. Метрики качества AI-бота: • Accuracy: % корректно решенных вопросов без эскалации на оператора. • Tone & Brand Alignment: соответствие гайдлайнам компании. • Schema Compliance: отдаёт ли бот корректный JSON для API вызовов. • Latency & Cost: задержка ответа (в сек) и стоимость токенов на диалог. Источник: https://www.braintrust.dev/blog/evals-for-pms](https://www.braintrust.dev/blog/evals-for-pms #PG_education

Почему цифры на слайдах врут Топ-зацепок к тому, что вам показывают (1) Метрики часто подменяют стратегию (сурrogation) Люди мысленно заменяют абстрактные стратегии измеримым показателем. Например, учитель учит сдавать тесты, а не понимать предмет Компания Wells Fargo хотела построить долгосрочные отношения с клиентами и измеряла это кросс-продажами дополнительных счетов. Итог: 3,5 млн счетов, открытых без согласия клиентов. Разрушено ровно то, ради чего все затевалось (2) Как только показатель становится целью, он перестает быть хорошей мерой (Закон Гудхарта) Любая наблюдаемая статистическая закономерность склонна к разрушению, как только на нее оказывается давление с целью контроля Те, кто ставят цель, часто имеют неполное представление о процессе. Внимание, направленное на абстрактные метрики, оставляет что-то важное в тени KPI Тестировщиков в ИТ могут измерять по количеству найденных багов. Но в итоге, ребята могут создавать баги-пустышки или начать дробить большую задачу на мелкие, чтобы повысить такую метрику (3) Улучшение метрики может означать ухудшение реальности Представьте себе хирургов, которые заполняют отчеты о хирургических операциях. Чтобы повысить свои показатели, некоторые хирурги отказывают пациентам с худшими шансами на успешный исход Это значит, что тяжелобольным становится все сложнее найти хирурга. Люди умирают, метрика улучшается (4) Вы не можете понять, почему происходит Х, рассматривая только те случаи, когда Х происходит (ошибка выжившего) Очень хороший пример, когда наши эмоции, в том числе, толкают в сторону неверных выводов –  Представьте себе случай массовой стрельбы, освещенный в СМИ. Часто в биографиях стрелков обнаруживают, что они играют в "жестокие" видео игры. Но вопрос не в том, играют ли они, а в том: - играют ли они больше других? - становятся ли люди жестокими, играя в жестокие видео-игры или люди играют в такие игры, потому что жестоки сами по себе? - к чему приводят такие игры: к увеличению насилия или к безопасному выплеску? (5) Спрашивайте, чего в данных нет Вы исследовали людей, которые у вас что-то не купили, хотя были на вас подписаны? А как насчет людей, которые не купили, потому что даже о вас не знали? Ушло 100 клиентов, вы опросили 20 ответивших и сделали выводы? А что с молчунами? Бонус Данные никогда не сырые, вы просто иногда впервые с ними сталкиваетесь. Данные осмысляются, фиксируются и собираются, в результате человеческих решений: что именно измерять, когда, где и каким методом У цифры всегда есть автор со своими особенностями и интересами 🔗 Кружок кройки бытия

Репосты — главная метрика канала Я как-то осторожно уже об этом говорил, но сейчас готов кровью подписаться. Причин 2: 1. Репосты растят охваты, а охваты влияют и на стоимость рекламы в канале, и на вовлечённость (целевые действия в посте). У меня есть пост со 100+ непубличными и парочкой публичных репостов6 и он продолжает бешено собирать охваты. 2. Репост кричит о ценности контента: если прочитавший решил поделиться с ближним вашими мыслями, это гораздо более ценно, чем прожатое сердечко или написанный комментарий, это признание небезразличия (даже если ваш пост переслали с комментом типа "смотри какой дебил") Именно в такую виральность я стараюсь бить своими постами и именно эту метрику обсуждаю с нейронкой перед публикацией.

Цифра ~50% почему-то часто не пугает людей, когда речь про AI-ассистентов. Каждый второй запрос в стену? Ну ок, бывает, докрутим. Это странно, ибо если переложить те же 50% на более классический продукт, который мы все умеем оценивать, отношение будет другим. К примеру, интернет-магазин, который не создаёт каждый второй заказ, никто «докручивать» не будет — его чинят в ночь, в дождь, вопреки, потому что всем очевидно, что он сломан. Но представим магазин хитрее: заказ создаётся, а дальше то не доставят, то привезут не то или не туда, то спишут другую сумму. При этом снаружи всё может выглядеть как успех с непоколебимым покерфейсом: корзина, чекаут, «спасибо за покупку». Ассистенты чаще ломаются именно так. Там, где классический софт падает с ошибкой, LLMки отвечают: «подписку отменил», а по факту ничего не отменил, «операция корректна», а она снесла прод-базу. Ровно тот самый идеальный покерфейс, и у пользователя обычно не хватает компетенций отличить правильный ответ от уверенного вранья. Отсюда и разница в обратной связи. Косячащий магазин закидают жалобами и единицами в отзывах за день: чтобы понять, что привезли не то, экспертиза не нужна. А к ассистенту человек приходит ровно потому, что сам не знает ответа. Отличить хороший результат от плохого ему часто нечем, так что уверенный бред спокойно собирает свои пятёрки, либо собирает негатив с большой задержкой, либо вовсе выглядит как падающий ретеншн. Откуда тогда спокойствие команд? Моя гипотеза: дело в лёгкости лицезрения. Метрики магазина дешёвые: доля созданных заказов, SLA доставки, возвраты. Собираются за день и орут с дашборда красными огнями. Если даже никто дашборд не построил, то быстро прибежит СЕО и заставит сделать сэппуку. Метрика качества ассистента дорогая, это тот самый бенчмарк и нудные месяцы работы. А пока бенчмарка нет — нет и дашборда, на котором могло бы загореться красное. А когда мы измеряем что-то, то часто это улучшаем. Если не измеряется, то «вроде работает» будет достаточно. Дешёвая метрика тычет тебя носом в провал, а дорогая разрешает жить в неведении и называть это оптимизмом. Так что если у команды ассистента нет бенчмарка и эвалов, это не значит, что у неё нет 50% фейлов. Это значит, что она узнает о них последней.

Как измерять работу программистов CEO и CFO приходят к CTO с вопросом: можно ли оптимизировать затраты на разработку? Как понять, кого уволить, а кто хорошо работает? Кому сколько платить? В среде программистов есть много мнений по поводу метрик и нужно ли измерять производительность разработчика. Очевидные метрики, которые придумает HR: - Присутствие на рабочем месте - Количество выполненных задач - Количество часов, затраченных на выполнение этих задач - Уложился ли в план

Неочевидные метрики, которые добавит CTO: - "Бизнес ценность" — баллы, которыми стейкхолдеры оценивают задачи по их значимости или приоритету для бизнеса. - "Стори пойнты" — баллы трудоёмкости. Разработчики собираются на "Покер Планирования" и оценивают задачи между собой. Используют футболки (XS, S, M, L, XL) или степени числа 2 (1, 2, 4, 8, 16, 32). - Количество багов в коде, написанном разработчиком. - Скорость — любые баллы делим на время. - % отклонения от собственной или командной оценки.

Проблема заключается в том, что индивидуальный разработчик может провалить все эти метрики, но при этом положительно влиять на производительность команды. Или же выполнять план, но демотивировать группу. Рассмотрим роль тимлида в качестве примера: индивидуальная отгрузка ниже среднего, но каждый разработчик под его влиянием работает быстрее и качественнее. Увольнять его на основании общих метрик просто преступно. Программисты под надзором точно работают, без него — состояние неопределённое. Поэтому без внешнего контроля не обойтись. Что с этим делать? - Если хочется кого-то уволить или повысить — спросите менеджера отдела. Он всё знает без метрик. Для уверенности проведите 360-градусную оценку. - Всё равно измерять все возможные/удобные показатели, но не принимать решения только на них. Пост помог подготовить резидент Галеры Михаил Сенсеев 🔵

Наткнулся в LinkedIn на пост чувака, который предлагает "a little more breathing room" дизайну главного экрана Революта. Объясню в чем проблема таких Dribble концептов. Этот экран генерирует миллиарды долларов выручки. Со стороны, не зная метрик этого экрана и остальных, на которые он разводит дальше, ты никогда не сможешь понять где есть проблемы и точки роста. Ты просто галлюцинируешь. Дизайн как "я нарисовал красивое" умер еще лет 5-10 назад. Сейчас это такая же инженерная профессия, как и большинство других в продуктовой разработке. Ты должен глубоко понимать метрики продукта, клиентские сегменты, конкуренцию по рынкам. В противном случае ты будешь рисовать картинки, которые никому уже не нужны.

Если 7 % когорты возвращается на 7ой день, то ты уже в топ-25% по активации 1. Правило 7%. Если 7% когорты возвращается на день 7, то твой продукт уде показал раннюю ценность, которая коррелирует с долгосрочным успехом. И ты уже в топ-25% по активации. 2. Ранняя активация предсказывает долгий retention. 69% продуктов из топа по дню 7 были в топе и через 3 месяца. 3. У половины продуктов к концу 2-й недели неактивны больше 98% новых. Даже у топ-10% на день 14 остаётся всего ~9%. 4. У энтерпрайза топ-10% держат 12.4% на день 7 против медианы 2.1%. Разрыв в 6 раз. 5. Разброс по сегментам (retention 3-го месяца у лидеров): тревел 25.6%, финсервис 19.5%, B2B-софт 15.6%, энтерпрайх 12.4 % у лидеров. 6. Что сделать для удержания. Очевидно, пункт номер один - построить хороший онбординг: • найти свой момент ценности через когортный анализ, • сократить time-to-value, • разбить путь на чекпоинты, не вываливать все фичи сразу, • делать онбординг вокруг цели, а не фич, • снижать когнитивную нагрузку, • давать мгновенную обратную связь. 7. Метрики, предсказывающие удержание: • time-to-value по сегментам, • activation по источнику трафика, • глубина (не один экшен, а несколько + приглашение коллеги), • когортные дашборды. Источник: https://amplitude.com/blog/7-percent-retention-rule #PG_education @productgames

Почему продуктом управлять легко, а собой — нет Время чистосердечных после выходных и вот одно, которое пора подписать самому себе: большими системами и продуктами мне управлять кратно проще, чем банально записаться к врачу. С той же лёгкостью, с какой я в несколько потоков увлечённо тащу рабочее, я залипаю на простейшем бытовом действии: написать в стоматологию, заказать кроссовки для падела или купить билеты, хотя знают точно когда и куда мы полетим. Вполне удачно я месяцами списывал это то на расфокус, то на низкий приоритет. Красивые причины, но без сути. Потому что ни одна из них не объясняет, почему на работу энергии хватает на пять параллельных потоков сразу, а на одно сообщение в стоматологию — нет. Ответ оказался в разы проще и частью упирается в локус контроля, про который я писал в канале давным-давно. Дело в том, что это две разные системы, и управляются они по-разному. Вся разница — в одном: есть ли у системы обратная связь. Кто-то, кроме тебя, замечает, что она сломалась. С продуктом всё честно: если где-то поехало, сигналы будут — цифра просядет, кто-то придёт с вопросом, деньги не придут вовремя, ну и приходится реагировать, даже когда не хочется, потому что сигнал громкий и его видит не только он. С продуктом всё честно: если где-то поехало, сигналы будут — цифра просядет, кто-то придёт с вопросом, деньги не придут вовремя, ну и приходится реагировать, даже когда не хочется, потому что всё это громкое и видно не только мне. А по себе такого дашборда нет (увы и ах!). Никто не пришлёт мне сводку, да и ретро по себе никто почти не делает — единственный наблюдатель тут я сам, а судьи кто? И если за собранность в работе платят — деньгами, ростом, успехом, — то за собранность в быту не платит вообще никто: её попросту не видно, а потери приходят как раз тогда, когда её нет. Поэтому «доделаю ещё поток вместо того, чтобы записаться к врачу» выигрывает каждый раз — рабочий выигрыш это профит, а сделанное бытовое в лучшем случае не случившийся убыток. А получать профит всем морально проще, чем сейвить убытки. Забавно, но чинится это ровно тем же инструментом, что и продукты: 🔹 Метрика на себя. Раз бытовое само по себе невидимо, ему нужен счётчик — пара цифр, за которыми следишь как за продуктовыми: сколько дел по быту за неделю закрыл, а не перекинул дальше. Только чтобы их считать, задачи сперва надо где-то фиксировать — а жёлтые стикеры дома я пытался внедрять уже пару раз. Расти этой цифре, в общем-то, и незачем: она нужна, чтобы убыток, который иначе копится тихо, стал виден хотя бы мне. Без счётчика управляешь на ощущениях, а они врут первыми — ровно тогда, когда всё уже сыпется. 🔹 Отказ от алиби работы. «Сейчас не до этого, у меня запуск» — больше не индульгенция самому себе. Переношу, забиваю — но теперь называю настоящую причину хотя бы про себя. «Не хочу возиться с этой бытовухой» — честный ответ, с ним хотя бы можно что-то сделать. «Я занят важным» — ответ, который просто выключает счётчик, чтобы не смотреть, что там накапало. Продукт без метрик умирает за квартал — это все понимают и потому метрики ставят, не ленятся. А сам без метрик доезжаешь примерно туда же, только квартального отчёта об этом никто не пришлёт — заметить придётся самому, и желательно пораньше, пока ещё есть что чинить. А какое простейшее действие вы откладываете дольше всего — притом что на работе ворочаете вещами в разы сложнее? Константин Сухачев

От циклов к графам (часть 1) TLDR: цикл = отправная точка, а граф циклов = сеть циклов улучшения, которые наблюдают, подпитывают, ограничивают и корректируют друг друга.

Циклы – это процесс. Граф – их структура

Всё дело в том, что ИИ-циклы дают сбои. Сбои не случайны и есть 4 основных когнитивных ИИ-искажения и сбоя, которые кроются в природе самого ИИ-цикла. Первое искажение ИИ: закон Гудхарта ИИ-цикл видит только свою метрику и именно поэтому он будет искать все способы изменить эту метрику, включая способы, которые противоречат её назначению (привет, хакнутые "кем-то" KPI) ИИ просто не понимает, что в цикле создаётся сбой (часто, это не понимает и человек), когда он манипулирует собственной метрикой. ИИ(-цикл) считает, что делает именно то, для чего был создан на основе числа, которое незаметно оторвалось от реальности, которую оно представляло. Второе искажение ИИ: слепота к восходящему направлению Цикл направляет свою переменную к эталонному значению, но ничто внутри цикла не может проверить правильность самого эталона. Это как термостат в чайнике, который не может задаться вопросом, является ли 100° правильной температурой кипения воды (и должна ли вода вообще кипеть). И ровно также цикл ИИ-отдела продаж не может спросить сам себя, была ли предложенная им цена и оффер разумными для клиента и бизнеса. Цикл оценки просто не может усомниться в том, измеряют ли эталонные показатели что-либо, что чувствуют клиенты. И чем усерднее работает цикл, тем тщательнее достигается неверная цель, возвращая и усиливая ошибку №1. Третье искажение ИИ: внутренний ИИ-конфликт Реальные системы содержат множество циклов, и циклы, построенные независимо друг от друга, начинают бороться между собой. Цикл, оптимизирующий скорость отклика, подрывает цикл, оптимизирующий рассудительность, а цикл найма, отвечающий за рост базы знаний, создает нагрузку на цикл культуры, сохраняющий их качество ☯ Четвертый вид сбоя незаметный: система измерений внутри самого контура деградирует, потому что за наблюдателем никто не наблюдает Все эти показания могут плавать, каналы передачи данных ломаться, смысловое наполнение метрик меняться, цифры в одном отчёте ошибочно подтверждаться ИИ цифрой из другого и контур продолжит работать с данными, которые, по факту, уже никак не связаны с реальностью. Система, функционирующая по такому сценарию начинает напоминать фальшивый спектакль актёров-зрителей в одном лице.