А/B-тест: 5 шагов к его проведению

Недавно мы говорили о методе growth hacking, который подразумевает активную генерацию идей и гипотез. После мозгового штурма нужно обязательно понять, какая идея имеет право на жизнь. Один из простых, но очень понятных и действенных способов проверить гипотезу ― провести A/B-тесты. Расскажем, что это за инструмент и как провести A/B-тест.

A/B-тестирование ― что это

A/B-тестирование ― это эксперимент, где сравниваются два варианта (реже больше) чего-либо и выявляется самый эффективный. Первый вариант называют «A», а второй ― «B», отсюда и название метода. Вариантом A обычно выступает нынешний элемент сайта или лендинга, а вариант B ― новый элемент, который должен положительно повлиять на метрики. Этот метод особенно применим в работе над сайтом и при продвижении в интернете, из-за того что только в виртуальном пространстве можно собрать достаточное количество данных.

Определение достаточно общее, и вряд ли понятное. Лучше наглядно покажем, в чем суть А/Б-тестирования интернет-страницы. Представьте, что на главной странице вы хотите создать баннер с заманчивым предложением. Ваш маркетолог совместно с дизайнером генерят 2 варианта баннера. Оба хороши, но как понять наверняка, какой из них привлечет больше покупателей? Для этого создайте две версии главной страницы с разными баннерами, которые будут рандомно показываться пользователям. Через некоторое время проверьте, какое маркетинговое сообщение привлекло больше внимания, и оставьте победителя на сайте. Вот вы и провели A/B-тестирование.

A/B-тестированием часто называют сплит-тестирование. Кто-то считает их синонимами, кто-то разделяет их на два разных метода. В этой статье мы будем разграничивать эти понятия и использовать только термин «A/B-тест».

Кому и когда нужно проводить A/B-тесты

Метод A/B-тестирования подходит разным специалистам:

• маркетологам,
• дизайнерам,
• product-менеджерам,
• веб-мастерам,
• UX и UI-специалистам,
• email-маркетологам.

Нужно ли проходить специальное обучение, чтобы грамотно проводить A/B-тестирование? Нет, это необязательно. Данный метод исследования не требует специальных навыков. Однако знания в аналитике вам понадобятся, так как при проведении A/B-теста очень важно правильно собирать и интерпретировать данные. Также вам или вашим сотрудникам нужно понимать, как технически организовать эксперимент.

A/B-тесты проводят компании любого размера и направленности. Стартапам этот метод помогает за короткие сроки поднять свои продажи и разработать удобный сайт, а крупным – развить новые продукты и сделать свой веб-ресурс еще лучше.

Для чего нужен А/Б тест

Проверять:

• офферы на главной странице,
• заголовки к статьям и темы к рассылкам,
• размер, внешний вид, расположение кнопок на сайте и текст в них,
• изображения, видео и анимация,
• разделы сайта и расположение блоков страниц,
• лид-магниты,
• цены,
• каналы продвижения и коммуникации,
• макеты рекламных объявлений и их сегментацию,
• оформление скидочных предложений.

Как запустить А/Б-тестирование: 5 шагов

А теперь давайте вместе по шагам пройдем все этапы А/B-теста. Шагов будет пять.

Шаг 1. Определите, для чего вы вносите изменения

Что нужно сделать перед началом А/Б теста? Все действия, которые вы делаете на сайте, соотнесите с целями компании. В идеале гипотезы должны появляться, когда вы думаете, как достичь желаемых показателей. Но если идея пришла спонтанно, проанализируйте, поможет ли ваша идея организации.

Приведем пример. Вы маркетолог в компании-новичке. Основное направление компании ― познакомить людей с продуктом и продать как можно больше. Вы запустили лендинг, привлекающий хороший трафик, но только 5% посетителей доходят до покупки. У вас появляется идея нескольких офферов. Вы начинаете тестировать варианты, и один явно лидирует. Супер, новый оффер теперь убеждает 15% посетителей купить товар. Ваша идея подняла продажи.

Шаг 2. Определите, какие метрики будете отслеживать

Чтобы понять успешность одного из вариантов, нужно зафиксировать интересующие метрики: CTR, глубина просмотра страницы, конверсия в покупку и другие показатели.

Как только будут понятны метрики, выберите особенно важные и сформулируйте гипотезу: какие метрики должны улучшиться, если вы введете новый элемент или измените внешний вид/расположение существующего.

Пример, как должна выглядеть гипотеза:

«Если изменить цвет кнопки с красной на зеленую, ее CTR увеличится на 4%».

Шаг 3. Подготовьтесь к эксперименту

Во-первых, конечно же, подготовьте макеты и тексты нового элемента на сайте, а также настройте их отображение. Чтобы грамотно собрать данные, нужно воспользоваться программами, например Google «Оптимизация». Во многих CMS есть встроенные или дополнительные решения для проведения A/B-тестов. Например, если вы пользуетесь WordPress, вы можете подобрать подходящий под задачи плагин: Nelio AB Testing (работает с Woocommerce) или Title Experiments Free (для тестирования заголовков). В 1С-Битрикс также есть дополнительные модули для проведения таких тестов.

Во-вторых, вам нужно понять, при каком количестве участников эксперимента результаты будут считаться релевантными, а также какой уровень ​​статистической значимости (погрешность) вас устраивает. Для этой задачи тоже есть помощники: калькулятор Optimizely или AB Tasty. Есть множество других. Выбирайте на свой вкус.

В-третьих, как долго проводить исследование. Этот показатель зависит от трафика на сайте. Ваша задача ― набрать нужное количество участников исследования и разделить его на ваш ежедневный трафик. Посчитаем вместе. Представим, что на ваш сайт в день в среднем заглядывает 20 тысяч человек. Калькулятор показал, что оба варианта должны увидеть в сумме 100 тысяч человек. 100/20=5 дней. Вуаля! Чаще всего эксперимент укладывается в 1-2 недели.

Шаг 4. Проведите сам эксперимент

После того как всё готово и спланировано, можно начать проведение A/B-тестов. Обязательно проверьте, работают ли системы верно. Если все хорошо, запускайте А/Б-тест.

Совет! Не смотрите на промежуточные результаты. Отпустите и забудьте. Закройте все отчеты и диаграммы, чтобы у вас не было соблазна сделать выводы до окончания исследования.

Шаг 5. Изучите результаты

Когда наступит день X, можно приступать к самому интересному ― изучению результатов. Перед тем как делать выводы, обязательно проверьте, не могли ли повлиять внешние факторы на данные. Бывает, когда в процессе А/Б-теста появляются непредвиденные ситуации: политические, социальные, природные и т. д. Если что-то действительно могло значительно повлиять, приготовьтесь к более внимательному изучению результатов. Что вы можете увидеть:

• Оба варианта дали примерно одинаковые результаты. В этом случае стоит провести повторный эксперимент и подробнее изучить аудиторию. Может, понадобится протестировать вашу гипотезу на разных сегментах. Например, раньше в рекламном сообщении вы делали акцент на выгоде (вариант A), а в новом использовали эмоциональные аргументы (вариант B). А/Б-тест показал, что оба варианта нравятся аудитории, но при близком рассмотрении можно заметить, что вариант A больше действовал на мужчин, а вариант B больше подходил для женщин. Вот и ответ;
• Вариант А показал результаты лучше, чем B. Такое тоже бывает и нередко. Если ваша гипотеза не подтвердилась и новый элемент проиграл старому, не расстраивайтесь. Вы проводите эксперимент, чтобы выявить лучший вариант и любой результат важен. Неудача может быть только в том случае, если вы не набрали нужное количество участников эксперимента или внешние факторы сильно повлияли на показатели. Все остальные варианты идут на пользу вашему бизнесу;
• Вариант B оказался лучше, чем A. Это значит, что ваша гипотеза подтвердилась и нужно внедрять новый элемент на сайт, чтобы повысить показатели.

Ошибки при проведении А/Б-тестов

1. Остановка эксперимента раньше срока. «Да тут уже всё понятно», ― говорят некоторые люди, когда видят перевес одной версии. Это неверно. Вы же не делаете вывод о всём ресторане по одному блюду. На выбор человека влияет многое. Если один вариант лидирует, это не значит, что так будет на протяжении всего эксперимента. Дождитесь конца А/Б-теста и лучше дополнительно проанализируйте пики эффективности каждого варианта.
2. Изменение заданных настроек в процессе теста. Ни в коем случае не меняйте размер выборки, дизайн, распределение трафика и другие настройки. Любое изменение может повлиять на результат.
3. Тестирование сразу несколько гипотез. Если на одной странице сайта тестируется сразу несколько элементов, результаты могут исказиться. Вы просто не поймете, какое изменение повлияло на выбор пользователя.
4. Тестирование большого количества вариантов одного элемента. Название «А/Б-тест» выбрано неслучайно. В нем отражено, что оптимальное количество вариантов для исследования ― два. Можно и больше, но каждый дополнительный вариант влияет на достоверность результата.
5. Однократное тестирование гипотезы. Чтобы результат был достовернее, лучше проводить несколько одинаковых тестов.
6. Игнорирование внешних факторов. Прежде чем проверять гипотезу, нужно посмотреть, не повлияют ли внешние факторы на результаты эксперимента. Например, если вы продаете товары для туризма летом, то из-за популярности вашего сезонного товара оба проверяемых элемента на сайте могут показать высокую эффективность. Но это не будет значить, что они оба действительно полезны. Просто товар популярный, и дополнительные действия для продвижения пока не нужны.

Когда А/Б-тесты не подходят

Несмотря на то что А/Б-тесты – достаточно универсальный метод исследования, всё-таки есть ситуации, когда проводить их не стоит.

1. Маленький трафик. Мы рассказали, как узнать, какое количество участников эксперимента нужно, чтобы данные были релевантны. Если у вы понимаете, что на ваш сайт не заходит нужное количество человек, то и проводить тест не нужно.
2. Вы продаете дорогие продукты или работает в сфере B2B/B2G. А/Б-тесты помогают найти те способы продвижения, которые помогут заставить пользователя купить товар сразу. При покупке дорогих вещей или товара для юридического лица ежеминутная эмоциональная покупка почти невозможна. Следовательно и А/Б-тест ничего не покажет.
3. Ваши продажи нестабильны. Если вы продаете сезонный товар, у вас есть месяцы низких продаж и высоких. Тестирование гипотезы в успешный и неуспешный сезон будет нерелевантно.

В маркетинге много замысловатых инструментов, работа с которыми может показаться трудной. A/B-тест ― это легко, понятно и показательно. Изучите этот метод и применяйте для развития своего бизнеса!