Улучшения наоборот
Готовим с командой внедрение системы для проведения A/B тестов. Точнее MVP системы, потому что решили сделать сами, а не использовать готовое решение — с ним слишком много зависимостей и согласований, а наши потребности пока ограничиваются простыми экспериментами на веб интерфейсе.
Добрался до конца спеки и задумался: какой эксперимент можно будет провести первым, чтобы проверить насколько правильно работает сбор событий по группам? Понятно, что самым первым нужно провести A/A тест, проверить распределение по группам и совпадение метрик. А вот какой тест должен гарантированно изменить целевую метрику?
Решил, что это хороший момент попробовать ухудшающий эксперимент. Когда мы для небольшой тестовой группы в A/B тесте специально добавляем сложность в опыт пользователя. Их используют для других целей, когда делать улучшение сложно и долго, а сделать пробное ухудшение легко. Скорость загрузки страницы сайта и её влияние на конверсию хороший пример.
Оказалось, что придумать ухудшение в своем продукте даже сложнее, чем его улучшить! Ведь нужно сделать так, чтобы конверсия воронки заметно уменьшилась, но это не стало блокером для всех пользователей из тестовой группы — сравнивать ноль с текущим значением конверсии невозможно. Пришлось посоветоваться с Клодом.
Давайте вместе выберем из его предложений гипотезу для ухудшающего эксперимента?
Воронка выглядит так: главная страница с описанием продукта и списком популярных товаров ➔ страница товара с его характеристиками и калькулятором кредита ➔ форма заявки на кредит (имя, номера телефона, адрес почты и поле с выбором уровня дохода) ➔ подтверждение номера телефона через OTP ➔ результат предварительной проверки с переходом на установку приложения.
Ваши идеи — в комментарии. Или выбирайте несколько наиболее «правильных» вариантов в опросе👇🏻
1.
Задержка страницы товара. Если добавить +1,5-2 с к загрузке, то конверсия «товар → заявка» упадёт, потому что часть пользователей уйдёт, не дождавшись.
2.
Пустой калькулятор. Если убрать предзаполненные значения и показывать платёж только после клика «Рассчитать», то конверсия «товар → форма» снизится, потому что цену придётся добывать усилием.
3.
Лишнее поле в форме. Если добавить пятое поле (например, город или дату рождения), то конверсия «форма → OTP» упадёт, потому что каждое поле добавляет трение и тревогу от запроса данных.
4.
Поздняя валидация. Если убрать маску телефона и показывать ошибки только после «Отправить», то доля завершивших форму снизится, потому что пользователи чаще ошибаются и бросают её.
5.
Неудобный OTP. Если убрать автоподстановку кода и увеличить кулдаун повторной отправки с 30 до 60-90 с, то конверсия «OTP → результат» упадёт, потому что ручной ввод и ожидание провоцируют уход.
6.
Лишний шаг перед установкой. Если после результата добавить экран с кнопкой «Продолжить», то конверсия в переход к установке снизится, потому что каждый лишний клик теряет часть пользователей.
Посты по теме A/B тестирования:
📌
Уровень культуры экспериментов в компании. Как измерить и улучшать
📌
A/B тестирование для начинающих. Ответы на стыдные вопросы
📌
Зачем нужны ухудшающие эксперименты. Хорошая статья от GoPractice
#productquestion
