Выбор гипотезы для «ухудшающего» A/B теста

Улучшения наоборот Готовим с командой внедрение системы для проведения A/B тестов. Точнее MVP системы, потому что решили сделать сами, а не использовать готовое решение — с ним слишком много зависимостей и согласований, а наши потребности пока ограничиваются простыми экспериментами на веб интерфейсе. Добрался до конца спеки и задумался: какой эксперимент можно будет провести первым, чтобы проверить насколько правильно работает сбор событий по группам? Понятно, что самым первым нужно провести A/A тест, проверить распределение по группам и совпадение метрик. А вот какой тест должен гарантированно изменить целевую метрику? Решил, что это хороший момент попробовать ухудшающий эксперимент. Когда мы для небольшой тестовой группы в A/B тесте специально добавляем сложность в опыт пользователя. Их используют для других целей, когда делать улучшение сложно и долго, а сделать пробное ухудшение легко. Скорость загрузки страницы сайта и её влияние на конверсию хороший пример. Оказалось, что придумать ухудшение в своем продукте даже сложнее, чем его улучшить! Ведь нужно сделать так, чтобы конверсия воронки заметно уменьшилась, но это не стало блокером для всех пользователей из тестовой группы — сравнивать ноль с текущим значением конверсии невозможно. Пришлось посоветоваться с Клодом. Давайте вместе выберем из его предложений гипотезу для ухудшающего эксперимента? Воронка выглядит так: главная страница с описанием продукта и списком популярных товаров ➔ страница товара с его характеристиками и калькулятором кредита ➔ форма заявки на кредит (имя, номера телефона, адрес почты и поле с выбором уровня дохода) ➔ подтверждение номера телефона через OTP ➔ результат предварительной проверки с переходом на установку приложения. Ваши идеи — в комментарии. Или выбирайте несколько наиболее «правильных» вариантов в опросе👇🏻 1. Задержка страницы товара. Если добавить +1,5-2 с к загрузке, то конверсия «товар → заявка» упадёт, потому что часть пользователей уйдёт, не дождавшись. 2. Пустой калькулятор. Если убрать предзаполненные значения и показывать платёж только после клика «Рассчитать», то конверсия «товар → форма» снизится, потому что цену придётся добывать усилием. 3. Лишнее поле в форме. Если добавить пятое поле (например, город или дату рождения), то конверсия «форма → OTP» упадёт, потому что каждое поле добавляет трение и тревогу от запроса данных. 4. Поздняя валидация. Если убрать маску телефона и показывать ошибки только после «Отправить», то доля завершивших форму снизится, потому что пользователи чаще ошибаются и бросают её. 5. Неудобный OTP. Если убрать автоподстановку кода и увеличить кулдаун повторной отправки с 30 до 60-90 с, то конверсия «OTP → результат» упадёт, потому что ручной ввод и ожидание провоцируют уход. 6. Лишний шаг перед установкой. Если после результата добавить экран с кнопкой «Продолжить», то конверсия в переход к установке снизится, потому что каждый лишний клик теряет часть пользователей. Посты по теме A/B тестирования: 📌 Уровень культуры экспериментов в компании. Как измерить и улучшать 📌 A/B тестирование для начинающих. Ответы на стыдные вопросы 📌 Зачем нужны ухудшающие эксперименты. Хорошая статья от GoPractice #productquestion