Продукт

Вообще не осталось продакт-менеджеров, которые бы не упоролись напрочь в нейросети. Мне кажется это какие-то неправильные менеджеры, кто этого еще не сделал. Поэтому я и веду свой второй канал @gleb_pro_ia, и делаю это примерно в 100 раз активнее, чем этот. Чего-то высасывать из пальца при этом тоже не хочется. И я все думал. а про что ж писать тут? Решение висело под носом. Тут уже написано в заголовке про бизнес, значит буду продолжать писать про бизнес. Пусть и с нейросетевым уклоном, так как без этого сейчас ну вообще без вариантов. А на втором канале продолжу исповедовать гонзо-журналистику про то, каких агентов я потрогал сегодня, и как они меня возблагодарили в ответ.

#кейс_стади Разбор с СEO, вайбкодом и Едрит Многие ответили на задачу с позиции мидл-менеджера: провести ретро, спросить архитектора, поправить процессы, не лезть в чужую работу. Но CEO здесь вообще в другой позиции. У него сорван крупный контракт, под риском следующий рейз, потеряно доверие к инженерным оценкам и появился контрпример. Его задача быстро вернуть управляемость Первое Показать свою ветку CTO и поставить задачу ее опровергнуть. И не с позиции "я сделал лучше вас", а "вот решение, которое по моей текущей оценке закрывает то же самое за две недели 1 человеком". Можно остановить менее важные задачи, подключить сильных инженеров и прогнать тот же набор проверок. Если решение развалится -> отлично, CEO получит конкретные причины, чего он не понимал. Если после недели допила оно сравнимо -> вопрос становится очень неприятным Второе CTO должен объяснить не код, а управленческое решение. Что из вот этого platform наворота было еально необходимо для Дастархана, что строилось на будущее, кто принял вообще сравнивал варианты и какая экономика у них. Критичный бизнес-дедлайн был известен заранее. Если инженерка сознательно обменяла его на красивую платформу, бизнес должен был участвовать в этом решении, а не узнать о последствиях через пять месяцев Третье С этого момента подобные решения принимаются иначе. Есть жесткое внешнее ограничение -> CTO приносит несколько вариантов со сроками, рисками и стоимостью: быстро закрыть потребность, сделать нормально, строить платформу. Какой риск купить -> решает CEO. Архитектура не существует отдельно от экономики, особенно когда на другой стороне контракт и инвестиционные деньги Четвертое CTO должен принести отчет, причем не нейрослоп HTML-бандл от клодкода, а понятные 2 странички с хронологией проекта, где были проблемы, что для них делали и почему не уложились в сроки. Отдельно информация как им управляли и контролировали. По отчету станет прозрачно осознавал ли техдир важность проекта и делает ли менеджмент в компании полезную нагрузку Отдельно меня удивило, сколько людей вообще начали обсуждать, правильно ли CEO втихаря вайбкодит и должен ли он лезть в работу разработчиков. Это взгляд из своей профессиональной колокольни. В условиях кейса CEO уже вайбкодит, уже достаточно погружен и получил новую информацию о собственной компании. Спорить с условиями задачи вместо принятия решения -> уходить от самой задачи. Тем более я постоянно общаюсь с C-level продуктовых компаний и это уже совсем не экзотика, когда даже фаундер собирает себе что-то И дальше самое важное -> реакция CTO. Ошибка в архитектуре допустима. Сорванный срок тоже иногда допустим. Недопустимо, когда критичный для бизнеса срок сорван, последствия воспринимаются как данность, альтернативное решение никто не хочет проверять, а объяснение заканчивается на вам не понять разработку. Если CTO сам разбирает ситуацию, показывает где ошибка CEO и меняет систему -> доверие можно восстановить. Если защищает статус-кво -> я бы ставил CTO испытательный срок

Иногда ставят такую цепочку тумблеров проверки на важных ответственных пультах управления. Ты должен повернуть каждый из них, как чек-лист, обдумывая каждый пункт: так, тип снаряда правильный, ага, азимут мы поставили, возвышение тоже - и когда ты замкнёшь последний, тебе открывается возможность совершить необратимое действие (в данном случае, выстрел). И вроде идея правильная, но с первого же раза ты просто воспринимаешь это, как цепочку действий, которые нужно выполнить перед выстрелом и просто не думая, пробегаешься по ним, как пилот включает все тумблеры перед взлётом. Только потеря времени. Небольшим улучшением контроля оператора было бы введение пауз между тумблерами, но они ещё больше бы увеличили время выполнения ключевого действия (выстрела). А вот хорошей идеей было бы поставить простейший автомат верификации: Допустим, на пункте управления башней оператор выставил наклонение 32.3 градуса и азимут 177.4, а заряжающий на своём посту уложил в лоток фугасный снаряд. Теперь оператор конечного пункта должен ввести эти же ключевые параметры у себя на пульте - когда они все совпали с теми, что сейчас реально выставлены на остальных пунктах, открывается возможность произвести выстрел. Это гарантирует стабильно высокое внимание оператора и исключает ошибки по невнимательности. Слава Кастилии! Министерство Эргономики

Как повысить эффективность бизнес-процессов с помощью оптимизации пайплайна В любой сфере деятельности ключевую роль играет эффективность. Оптимизация пайплайна — это не просто улучшение отдельных этапов работы, а комплексный подход к повышению производительности всей системы. Такой подход помогает сократить издержки, ускорить выполнение задач и устранить возможные задержки. Начинать следует с детального анализа текущего процесса. Это позволяет выявить слабые места и понять, где именно теряется время или ресурсы. Следующий шаг — внедрение автоматизации, перераспределение ресурсов и использование современных инструментов, которые позволяют работать быстрее и точнее. Важно помнить, что оптимизация — это не разовое действие. Пайплайн требует регулярного пересмотра и адаптации, особенно в условиях быстро меняющейся рыночной среды и технологического прогресса. Фаундер | Бизнес и Стартапы

💰 Серебро дороже золота. Так теперь можно Caviar это контора, у которой любая электроника рано или поздно обрастает драгметаллом. Теперь она добралась до умных очков Ray-Ban Wayfarer II. Коллекция называется Odyssey. Версия Odyssey получила декоративные накладки с покрытием из 24-каратного золота. Odyssey Silver — вставки из 22-каратного стерлингового серебра. Металл куют, гравируют и полируют вручную, гравировка идёт греческими мотивами, а на дужках сидят звёздочки из чёрной эмали. Оправа подо всей этой роскошью — стандартная чёрная Wayfarer. Тираж всего по 24 экземпляра каждой модели. Число выбрано не наугад: ровно столько песен в «Одиссее» Гомера. Зарядный кейс тоже не остался обделённым — его обтянули чёрной крокодиловой кожей и повесили на застёжку фирменную эмблему. Внутри, ровно те же самые Ray-Ban, всё идентично серийной версии. За золото и крокодила доплачивают исключительно снаружи. Ценники: золотая Odyssey — 6130 долларов (~503 000 рублей), серебряная Odyssey Silver — 6840 (~560 000 рублей). Да, серебро вышло дороже золота. Логику ищите сами, мы пас. Есть и практический нюанс, о котором Caviar скромно умолчала: сколько всё это добавляет к весу. А для очков, которые предполагается носить на носу весь день, вес — вещь довольно принципиальная. Заказы уже открыты. А что? Ну вдруг надо? @droidergram

Проектирование дизайна как создание объяснения Прошу своих студентов придумать, как должна выглядеть и работать следующая версия их продукта. Они пишут, мол, там будет то и сё, и надо будет учесть это и это. Кажется, они думают, что они всё понимают, а я всё никак не удовлетворюсь их ответами. Периодически даже звучат слова вроде «давай мы сделаем прототип или даже навайбкодим тебе». А я говорю, да погодите, вы мне объясните сперва! Я верю в идею «кто ясно мыслит, тот ясно излагает», поэтому если вы правда способны сделать прототип, то значит вы понимаете, как всё должно работать, и можете это рассказать. По моему опыту, многие дизайнеры даже не осознают того, что у них в голове нет целостной картины продукта. При этом иногда чтобы что-то придумать, нужно какое-то время порисовать или попрограммировать, как бы пощупать задачу разными способами — это я понимаю. Я не против никаких промежуточных прототипов, если так удобнее думать, но в качестве результата я хочу описание системы. В общем, наша переписка продолжается какое-то время. Они уже пишут подробный текст, но им всё ещё моя просьба кажется удивительной: «Неужели тебе правда это удобнее, чем макет или прототип? На макете же сразу видно, где что!» Да, но не видно, почему! Какой толк от прототипа? Ведь из я прототипа ничего не пойму. Я буду видеть, что что-то как-то сработало, но я не увижу внутренних причин. У меня всю жизнь так было, я терпеть не мог прототипы, потому что я с ними как слепой. Как мне увидеть и осмыслить саму систему, а не отдельные её случайные проявления, до которых я докликал? За прототипом очень легко спрятать, что у вас ничего не продумано. После прочтения Дойча я понимаю, почему так: прототип — не объяснение. Что толку физику от результатов опыта, если у него нет объяснительной теории, которую эти опыты подтверждают или опровергают? Это же просто рандомные факты, вызывающие лишь недоумение. Чтобы понимать, почему они такие, мне нужно открыть, то есть придумать закон, который бы их объяснил. Но если мне самому нужно придумывать закон, глядя на эффекты его воплощения в прототипе, то в чём тогда была работа дизайнеров? Я ж как раз изначально попросил их придумать этот закон! А в итоге вынужден его придумывать я. Если вы его реально придумали, так просто расскажите. А если у вас только прототип, то вы его, скорее всего, просто не придумали. Это всё снова показывает, насколько качественное проектирование близко к придумываю законов физики.

Выбор оптимального канала продаж для вашего бизнеса Подход к организации продаж может существенно различаться в зависимости от особенностей компании. К примеру, Dell сделала ставку на прямое взаимодействие с клиентами, исключив посредников из процесса покупки. В то время как такие гиганты, как General Motors и Coca-Cola, отдают предпочтение сотрудничеству с посредниками и дистрибьюторами, что позволяет охватить более широкую аудиторию. Ralph Lauren сочетает оба подхода — используя как собственные каналы, так и партнерские сети. Apple же выбрала путь создания фирменных магазинов, где может полностью контролировать клиентский опыт и качество сервиса. Выбор стратегии продаж определяется рядом факторов: от особенностей продукции и характеристик целевого рынка до стратегических задач компании. Главное — чтобы канал продаж гармонично вписывался в общую бизнес-модель, способствовал достижению ключевых целей и укреплял имидж бренда. Фаундер | Бизнес и Стартапы

Июльский дайджест продактов звучит жарой и светом её Солнца – От лошадей к стартапам – Цена фичи – Contextual Product Management – Про «чтобы что» – Закон Фолкленда – Закон Брукса – Правило 7% – 3 Истины Систем – Главное из AEO – Зачем продукту видение – Be NICE – Diff-in-Diff: A/B-тест невозможен – Process Communication Model – Как перестать быть незаменимым – The truth about being a manager – Что проверять в AI-продуктах – Немного про контрольные карты – Scream-тест продукта – Суперпозиция продукта – Токен ↔ Человек – Метод CRISP для PRD – Валидация — мираж – Культура загнивает незаметно – Как проектировать UX AI – Чатоцентричный интерфейс – Играем в «Оракл» с продуктом – ИИ внушает ложную уверенность – Book: Product Design Psychology – Гайд: Метрики UX – The Layers of AI experience – Симулятор сотрудника FAANG – Каталог когнитивных искажений – ИИ о человеческих страданиях – 3 ways people respond to a problem – What AI can tell us about human suffering – The Laws of this World (Game Theory) – По вере вашей дано будет вам 🌞 Yoshiko Sai ～ Taiji no Yume 🔭 Chiemi Manabe - Untotooku

Что такое эта ваша поддержка? На диджитал-рынке постоянно звучит услуга «поддержка сайта». Но на практике под словом «поддержка» подразумевают совершенно разные вещи. Сюда попадает гарантийная и постгарантийная поддержка, контентно-техническое сопровождение, ретейнер команды разработки. Сюда же иногда относят ответственность за то, чтобы сайт вообще работал.

Путаница возникает потому, что одним словом называют три принципиально разные зоны ответственности: Первая — исправлять возникшие проблемы. Это поломки и качество самого программного обеспечения: устранение багов, обучение и помощь пользователям. Сюда не входит развитие продукта и добавление новых функций. Именно к этому слою обычно относятся гарантийная и постгарантийная поддержка. Вторая — выполнять входящие задачи. Есть команда или специалист, которые берут в работу всё, что связано с сайтом: меняют контент, создают страницы, дорабатывают функциональность, занимаются вебмастерингом или развивают сайт по согласованному плану. По сути, клиент покупает гарантированную возможность регулярно ставить задачи и получать результат. Это может быть контентно-техническая поддержка или работа команды разработки. Третья — отвечать за состояние и работоспособность системы. Здесь речь уже не про отдельные задачи, а про то, чтобы продукт оставался доступным, стабильным и выдерживал реальную нагрузку. Этим занимаются DevOps, системные администраторы, инженеры по надёжности: настраивают мониторинг, следят за инфраструктурой, реагируют на аварии и восстанавливают систему после сбоев.

Почему всё это называют одним словом? Во-первых, так говорят клиенты. У них основная деятельность находится в другой области, поэтому практически любые работы с сайтом, кроме полноценного редизайна или новой разработки, они склонны называть поддержкой. Во-вторых, это пошло от самих веб-студий. Их основной продукт — создание сайтов, а всё, что происходит после запуска, автоматически отправляется в категорию «поддержка». Необязательно срочно придумывать для каждой услуги новое название. Но при обсуждении поддержки нужно четко зафиксировать, что именно вы делаете, а что не делаете. За что отвечаете, в какие сроки реагируете, какие задачи принимаете и что оплачивается отдельно. Тогда у клиента не будет ожидания, что в рамках гарантии вы бесплатно разработаете новую функцию или будете дежурить и решать падение сайта под нагрузкой в выходные. Называть разные услуги одним словом можно. Главное — чтобы все одинаково понимали, какая именно услуга была куплена. Пост помог подготовить резидент Галеры Михаил Сенсеев 🔵

M&Ms — менеджмент — Как уследить за всеми? — спросил фаундер стартапа. — В неделю по десять новых сотрудников выходит. — По быстрым сигналам Менеджер группы Van Halen требовал, чтобы за кулисами музыкантов ждала тарелка M&Ms без единого коричневого драже. «Звездный выпендреж», — подумал я. Оказалось — хитрый метод управления. «Если мы видели хоть одну коричневую конфету — проверяли все. Организатор на площадке не читал договор — будут технические проблемы, которые могут разрушить шоу и даже поставить под угрозу жизнь группы», — рассказывал Дэвид Ли Рот. Чем больше масштаб компании — тем меньше возможностей следить за всем. Да это и не нужно. Достаточно определить «коричневый M&Ms» — выделить ключевое качество и простой метод его проверки. Например, в Stripe считают, что налоговые консультанты должны быть пунктуальны и точны. Поэтому встречи с ними назначают на 12.47. Те, кто приходят в 13.00, попадают под аудит. Вывод прост: случайная выборка в широком диапазоне снимает головную боль ——————————- Пост написан год назад. С приходом ИИ стал еще актуальнее :)

Чек-лист, что должен проверять продакт в AI-продуктах и чатах в частности 1. Правило 5–10 кейсов. Составь базвый золотой датасет из 5–10 эталонных юзкейсов (например, для AI-саппорта: возврат денег, смена адреса, жалоба на хамовитого курьера) и автоматизируй их проверку. 2. Один скорер = одно измерение. Главная ошибка PM - оценивать ответ модели одной общей метрикой «хорошо/плохо». Для кейса с возвратом денег разбей оценку на три отдельных скорера: • Точность (Accuracy): нашел ли бот правильную транзакцию? • Тон (Tone): вежлив ли бот, выразил ли эмпатию? • Безопасность (Policy): не пообещал ли бот возврат денег в обход регламента? 3. Human Review нельзя убирать. Автоматический код легко проверит, сделал ли бот запрос к базам данных. Но оценить, не звучит ли ответ как бездушный робот, пока может только человек. 4. Разрыв между топом и медианой. Команды с авто-эвалами видят, что новое обновление модели сделало бота супер-вежливым, но снизило точность поиска заказов на 10% и откатывают деплой. Команды без эвалов выкатывают регресс в прод и ловят волну негатива от клиентов. 5. 3 фазы внедрения на примере AI-саппорта: • Инкубация: собираем золотой датасет частых вопросов клиентов. • Шлифовка: weekly-демо, жесткие критерии (*«бот должен прикрепить ссылку на форму возврата, но не закрывать тикет сам»*) и просмотр цепочки рассуждений бота (Debug Mode). • Масштабирование: авто-тесты перед каждым деплоем и Slack-канал, куда автоматически падают все «дизлайки» от пользователей с логами беседы. 6. Чек-лист: как внедрить Evals за 5 шагов: • Собери реальные логи чатов, где бот ошибся. • Сформируй из них точечный датасет на 10–50 примеров. • Сравни две версии промпта side-by-side на одном и том же датасете. • Настрой автоматический ночной прогон тестов (Nightly Evals). • Настрой алерты на дизлайки пользователей прямо из продакшена. 7. Метрики качества AI-бота: • Accuracy: % корректно решенных вопросов без эскалации на оператора. • Tone & Brand Alignment: соответствие гайдлайнам компании. • Schema Compliance: отдаёт ли бот корректный JSON для API вызовов. • Latency & Cost: задержка ответа (в сек) и стоимость токенов на диалог. Источник: https://www.braintrust.dev/blog/evals-for-pms](https://www.braintrust.dev/blog/evals-for-pms #PG_education

💁‍♀️ Просматривала вчера новый Agile Practice Guide, и там была отсылка к Google’s Project Aristotle. Они исследовали 180 команд, чтобы понять, какие факторы делают команды эффективными. Главным из них оказалась — психологическая безопасность (psychological safety). Что она подразумевает, поговорим попозже. А сейчас интересно другое — Google НЕ нашёл значимой связи между эффективностью команд и: - Совместной работой в одном месте - Принятием решений строго консенсусом - Экстраверсией участников команды - Индивидуальной результативностью - Объёмом нагрузки - Позицией членов команды - Размером команды - Стажем работы Ну, про размер команды, конечно, очень спорно, но им виднее...)

Однажды, лет десять назад, Эпл придумал в Файндере обозначать файлы, сохранённые из писем, вот таким вот конвертиком. Зачем и нахрена — никто не знает. В этом нет ни смысла, ни пользы, ни радости, ни удобства. Видимо, в том году в появилась какая-то фича файловой системы, которая позволила это хранить, вот они и прикрутили. При этом файлы из каких-либо других источников никак специально не помечаются. Чем именно почта заслужила такого особого отношения? Ну просто что-то сделали, чтобы использовать новую фичу, не знаю. И теперь эта грязь рядом со случайными файлами повсюду таскается, и никак он неё не избавиться. Да, окей, файл из письма, я понял, но мне пофиг, отвали.

Все-таки опыт тестирования пригождается в разработке каких-то своих продуктов. Сейчас на Stepimy у меня такой флоу: 1. Есть локальный, QA и Prod стенд. 2. После выкатки фичи запускается смоук. 3. Перед тем, как отправить в прод, запускается регрессия + проверки по миграции данных. 4. Когда накапливается какое-то количество фич, я делаю аудит по безопасности, производительности, удобству использования и по всем остальным нефункциональным характеристикам. Если есть возможность через тот же Codex проверить Claude Code, то тоже это делаю. 5. Вся информация о релизах добавляется в релиз ноутс. 6. Само собой есть возможность написать в поддержку, то есть мне, и получить фикс быстро и даже реализовать какое-то улучшение, о котором я и не думал. Сейчас проходит бета-тест с авторами Stepik и очень много дельных комментариев получаю от них. В общем, вайбкодинг может быть интересным. По сути собрал команду из агентов.

Несколько наблюдений за последнее время • Гипотеза: дело не только в мощнейшей прокачке harness-составляющей кодинг-агентов (ultracode, /goal, системных промптов, поиска по актуальной документации в инете и всего остального). Нынешние frontier-модели Opus 5, GPT-5.5 Sol уже обучались на данных, появившихся после начала распространения вайбкодинга в прошлом году и успели вобрать в себя всю накопленную мудрость работы с LLM-разработкой (включая, конечно же, мою статью на Хабре) — поэтому они уже сами достаточно хорошо понимают, как двигаться по задаче, и сейчас их нужно заметно меньше направлять. • Если ещё в конце прошлого года можно было поразить клиента, собрав сразу после первого брифинга рабочий прототип личного кабинета, то сейчас клиенты всё чаще сами приносят завайбкоженные прототипы как часть ТЗ. И всё чаще просят сделать возможность управлять данными на сайте через агентов. То есть теперь продуктам нужна не столько админка, сколько API или MCP. • Code First подход к веб-разработке — сейчас основной в моей студии. Это когда проект начинается не с попытки полностью спроектировать продукт в Figma с воображаемыми данными, а с того, что мы как можно раньше собираем его рабочую версию: со всей логикой, интеграциями и полноценным интерфейсом. Главное преимущество — сразу начинаешь работать с реальными данными: каталогом товаров из 1С, пользователями из CRM, контентом страниц и т.д. И уже на этом этапе становится понятно, как продукт на самом деле должен выглядеть и работать. На этапе красивого дизайна на макетах очень редко получается учесть все особенности реальных данных. Поэтому, когда дело доходит до интеграции настоящего контента, зачастую всё начинает разваливаться. Поэтому мы сначала делаем работающий продукт, а дизайн и UX докручиваем уже в процессе — поверх реальности, а не предположений. Ну и в целом проект быстрее движется, когда уже с первого дня нужно доставать все данные из источников, а не на последних этапах интеграции вёрстки.

Где возникают ошибки Можно предложить следующую модель получения результата: цель → намерение → действие → система → результат Все это находится в окружении, которое влияет на наши действия. 1. Намерение Насколько намерение помогает достичь цели, или насколько у меня правильный образ действия, того, что я хочу сделать. Дон Норман называл эту стадию понимание «концептуальной модели системы». В ряде случаев концептуальная модель простая: если нажать на педаль тормоза, то машина остановиться. Но в ряде случаев концептуальная модель может быть запутанной: чтобы открыть дверь — её надо толкнуть или потянуть на себя? Я уже не говорю про более сложные системы. Насколько система представляет собой ясную схему, что и как надо сделать, чтобы получить желаемый результат? 2. Действие Несовпадение намерения и действия — действительно ошибка человека. Я хотел повернуть налево, но повернул направо. Я хотел нажать на тормоз, а нажал на газ. Насколько система позволяет сделать неправильное действие. Кроме этого важную роль начинают играть другие факторы: усталость исполнителя, отвлекали ли исполнителя во время важных действий и т.д. 3. Система или черный ящик. Сама система может работать с ошибками. Люди могут неправильно понять, то что мы им говорим, информация передается с ошибками. Механизмы могут быть спроектированы с ошибками, софт ошибается. 4. Окружение Это та обстановка, в которой мы действуем. Либо это культура организации, это социоэкономические факторы и т.д. Окружение может влиять на ошибки, которые возникают в процессе. Есть ли давление, чтобы добиться хороших результатов. Насколько система требует не ошибаться или система требует достичь цели любой ценой. Это культура компании, тон сверху, психологическая безопасность и все подобные вещи. Сюда же относятся ошибки, которые можно называть «внешними событиями». Мы ехали по правилам, в нас врезалась машина. Но мы же все сделали правильно. ;) Как видно, отклонения или ошибки могут возникать на любом уровне в этой модели. Но на каждом уровне ошибки возникают по разными причинами и требуют разных методов для предотвращения. #ЧФ #ошибки

Сегодня было, пожалуй, самое эпичное демо нашего продукта (omnu) за всё время. Кажется, ретроградный Меркурий решил провести его вместе с нами. За первые 30 минут не сгенерировалось вообще ни одного меню. Всё зависало. Вместо изображения кофейного напитка сгенерировалась булочка. Мы попытались это исправить… и булочка появилась уже прямо в кофе. В какой-то момент мы уже просто смеялись, потому что происходило буквально всё, что только могло пойти не так. И вот после такого демо в конце ребята говорят: «Мы хотим с вами работать. У вас очень крутой продукт. И вообще хотим, чтобы наше имя появилось у вас на главной странице.» Наверное, это ещё одно напоминание, что люди покупают не отсутствие багов. Они покупают понимание проблемы, скорость, с которой ты её решаешь, и видение того, во что продукт может превратиться. Хотелось бы, конечно, чтобы следующие демо проходили чуть менее… хлебобулочно. Но если уж фейлиться, то пусть все фейлы заканчиваются именно так 💛 @wealldesigners

Почему цифры на слайдах врут Топ-зацепок к тому, что вам показывают (1) Метрики часто подменяют стратегию (сурrogation) Люди мысленно заменяют абстрактные стратегии измеримым показателем. Например, учитель учит сдавать тесты, а не понимать предмет Компания Wells Fargo хотела построить долгосрочные отношения с клиентами и измеряла это кросс-продажами дополнительных счетов. Итог: 3,5 млн счетов, открытых без согласия клиентов. Разрушено ровно то, ради чего все затевалось (2) Как только показатель становится целью, он перестает быть хорошей мерой (Закон Гудхарта) Любая наблюдаемая статистическая закономерность склонна к разрушению, как только на нее оказывается давление с целью контроля Те, кто ставят цель, часто имеют неполное представление о процессе. Внимание, направленное на абстрактные метрики, оставляет что-то важное в тени KPI Тестировщиков в ИТ могут измерять по количеству найденных багов. Но в итоге, ребята могут создавать баги-пустышки или начать дробить большую задачу на мелкие, чтобы повысить такую метрику (3) Улучшение метрики может означать ухудшение реальности Представьте себе хирургов, которые заполняют отчеты о хирургических операциях. Чтобы повысить свои показатели, некоторые хирурги отказывают пациентам с худшими шансами на успешный исход Это значит, что тяжелобольным становится все сложнее найти хирурга. Люди умирают, метрика улучшается (4) Вы не можете понять, почему происходит Х, рассматривая только те случаи, когда Х происходит (ошибка выжившего) Очень хороший пример, когда наши эмоции, в том числе, толкают в сторону неверных выводов –  Представьте себе случай массовой стрельбы, освещенный в СМИ. Часто в биографиях стрелков обнаруживают, что они играют в "жестокие" видео игры. Но вопрос не в том, играют ли они, а в том: - играют ли они больше других? - становятся ли люди жестокими, играя в жестокие видео-игры или люди играют в такие игры, потому что жестоки сами по себе? - к чему приводят такие игры: к увеличению насилия или к безопасному выплеску? (5) Спрашивайте, чего в данных нет Вы исследовали людей, которые у вас что-то не купили, хотя были на вас подписаны? А как насчет людей, которые не купили, потому что даже о вас не знали? Ушло 100 клиентов, вы опросили 20 ответивших и сделали выводы? А что с молчунами? Бонус Данные никогда не сырые, вы просто иногда впервые с ними сталкиваетесь. Данные осмысляются, фиксируются и собираются, в результате человеческих решений: что именно измерять, когда, где и каким методом У цифры всегда есть автор со своими особенностями и интересами 🔗 Кружок кройки бытия