На просторах сети очень много материала посвящено A/B тестами, ведь это самый простой способ принятия решений. Есть гипотеза, запускаем А/B тест и смотрим какой из вариантов показывает лучшие результаты по метрике, которая вам важна (конверсия, ретеншен, деньги и т.д.). Крупные компании, такие как Google или Booking проводят десятки A/B тестов одновременно. Я не буду рассказывать базовые вещи, просто несколько take-aways про A/B тесты:

🥕 Ставьте конкретные цели: увеличение конверсии на 5-10%. Все что ниже – считаем результат не достигнутым.

🥕 Убедитесь, что до начала A/B теста вы не делали каких-то значимых изменений в продукте, которые могут повлиять на результат.

🥕 Указываете стоп-факторый, когда вы прекращаете эксперимент: падение конверсии не больше 9%. Например, вы поставили цель в деньгах (увеличить выручку на 10%) и увеличиваете цену предложения. Очевидно, что конверсия, при увеличении цены, может упасть, но в деньгах вы результат получите. В любом случае стоит предусмотреть некий рубеж, когда вы заканчиваете эксперимент.

🥕 Определите свою аудиторию и необходимый размер выборки, чтобы быть уверенными, что у вас достаточно трафика для статистически значимого результата по цели.

🥕 Определите максимальную стоимость теста для компании.

🥕 Определите срок, после которого вы смотрите на результаты. В связи с доходимостью иногда нужно подождать 1-2 недели, чтобы все пользователи, например, заплатили.

🥕 Всегда 🔪Сегментируйте результаты. Смотрите на изменение параметра в зависимости от канала привлечения или региону. Ведь в целом тест может показать, что показатели “А” лучше, но, например, в UK у группы “В” показатели в разы выше, просто эти данные нивелировались общим количеством пользователей.

🥕 Даже когда вы закончили тест и выбрали вариант, продолжайте следить за показателями.

🥕 Если вы буквально тестируете две новые гипотезы A и В, добавляйте контрольную группу, для которых действует текущий вариант.

🥕 Проверяйте гипотезы на новых пользователях.

Прочитать про A/B тесты можно тут 👉 A/B тест — это просто и еще миллион разных статей.

Канал Евгения “Плохой Продукт

прочли: 222

Получай сообщения о новых видео, статьях, документах и событиях раз в неделю!

You have successfully subscribed to the newsletter

There was an error while trying to send your request. Please try again.

LAMPOVOE IT: сообщество не программистов will use the information you provide on this form to be in touch with you and to provide updates and marketing.