О репрезентативной выборке, продолжительности и статистической достоверности экспериментов сказано много. Однако существует ряд других ошибок, на которые не всегда обращают внимание. Чего следует избегать, если нужно получить значимый результат, расскажем в статье.
При подготовке теста
Напомним, что для такого рода экспериментов нужно иметь достаточный трафик и конверсионный, в целом, сайт. Узнать достаточное количество посещений для проверки гипотезы можно с помощью любого онлайн-калькулятора для А/В-тестов. Если посетителей слишком мало, тестирование затянется надолго.
Заниматься тестированием устаревшего или плохо работающего сайта бессмысленно, для начала нужно привести его в порядок. И только после этого начать подготовку к тестам, не допуская следующих ошибок.
Нет гипотезы и плана
При А/В-тестировании предлагается только два варианта страницы или элемента. Но это не значит, что можно действовать хаотично, просто проверяя идеи наобум. Наилучший результат для конверсии достигается в ходе последовательных проверок и изменений. Например, сначала проверяем кнопку призыва к действию, потом форму заявки, после — фотографию на посадочной странице. И в результате объединяем победившие элементы для нового теста. Или тестируем шаблоны товарных карточек, не трогая при этом главную страницу и баннеры.
Если действовать непоследовательно и проверять сразу несколько значимых элементов, неясно, что именно влияет на результат. Кроме того, важно учитывать сезонность, рекламные кампании, деятельность конкурентов и другие факторы, способные повлиять на поведение пользователей. Словом, сначала план, учитывающий собственную и чужую заметную маркетинговую активность, потом тест.
Нет исторических данных
Чтобы оценить результат изменений, нужно с чем-то его сравнить. То есть знать максимум информации о поведении пользователей на странице и после ухода с нее. Получить такие данные несложно:
- системы аналитики на сайте — с помощью Яндекс.Метрики и Google Analytics можно не только посмотреть статистику, но и выявить проблемные страницы для последующих тестов;
- А/А-тест — если исторических данных просто нет, стоит разделить аудиторию сайта на два сегмента и, ничего пока не меняя, сравнить показатели; при правильном сегментировании (50/50 по всем значимым критериям) результаты должны быть одинаковыми.
Результаты А/А-теста нужны и для проверки корректности сегментации пользователей для будущего А/В-тестирования. Без этого можно получить следующую ошибку.
Неравномерное распределение по группам
Недостаточно просто поделить трафик пополам. При таком подходе в одном сегменте может оказаться, к примеру, больше женщин, мобильных пользователей или жителей мегаполисов. В идеальном варианте в каждой группе должно быть одинаковое количество пользователей, сегментированных по полу, городу и другим важным характеристикам. Для выполнения такой работы пригодятся специальные сервисы-рандомайзеры.
Выбраны не те инструменты
Наконец, важно использовать сервисы, дающие достоверные результаты. Чтобы проверить выбранные инструменты, стоит провести А/А-тестирование достаточной продолжительности, например, по правилам для планируемого сплит-теста.
Во время эксперимента
Когда А/В-тестирование запущено, важно следить за корректностью его проведения. Ошибочные результаты можно получить по самым банальным причинам:
- тестируемые страницы работают некорректно;
- во время запуска теста «что-то поломалось», и это влияет на поведение пользователей в целом;
- тестируемые страницы плохо адаптируются под мобильные устройства.
Если такие ошибки обнаружены, нужно остановить эксперимент и перезапустить его после устранения неполадок.
Анализ результатов
Итак, статистически значимое количество посещений набрано, эксперимент занял среднее время прохождения «воронки продаж», и пора оценивать результаты. Здесь множество нюансов, но есть наиболее распространенные недочеты.
Не исключены «лишние» данные
Например, сотрудники интернет-магазина или call-центра, часто посещавшие страницу при обслуживании клиентов. Или аномально высокие суммы заказов, встречающиеся крайне редко, но влияющие на показатели прибыли во время эксперимента. Для получения точных данных такие «явления» лучше не учитывать.
Нет сегментации выборки
Результаты стоит анализировать, сегментируя группы по таким показателям, как:
- пол;
- используемое устройство;
- регион;
- источник трафика;
- новые/вернувшиеся пользователи.
Это несложно сделать в сервисах для проведения А/В-тестов или в Google Analytics. Такие срезы важны для понимания распределения полученных показателей по разным сегментам пользователей. К примеру, может обнаружиться, что десктопный трафик принес значительно больше конверсий. Или что постоянные посетители не заметили изменений, их показатели конверсии остались прежними.
Нет анализа всех важных метрик
Цель А/В-тестирования — увеличение конверсии. Но не стоит забывать об остальных показателях, важных для бизнеса:
- количество оформленных заказов;
- средний чек;
- выручка и прибыль.
Нередки ситуации, когда конверсия на целевой странице вырастает, а другие показатели не радуют. И причина проста: посетителей что-то разочаровало на пути к покупке, и это не тестируемая страница.
Обратная ситуация: новая версия оказалась удачной, дальнейшие действия не вызвали проблем, а значит, можно приступать к тестированию и улучшению других разделов. Но убедиться в этом можно, только подсчитав деньги с учетом пользы от других маркетинговых кампаний.
В заключение
А/В-тестирование помогает создавать почти идеальные предложения для целевой аудитории и повышать конверсии на удобных и приятно оформленных сайтах. При условии, что тестируемые гипотезы продуманы, а результаты получены и интерпретированы без ошибок и подгонки под чьи-либо ожидания.
