А/В-тестирование и многовариантные тесты – известные инструменты для проверки гипотез о привлекательности или бесполезности того или иного элемента сайта. Но не всегда показывающие достоверные результаты. На какие базовые правила, важные нюансы и чужие ошибки стоит обратить внимание, чтобы правильно оценить изменения, расскажем в статье.
Что тестируем?
Существует два подхода к выбору элементов для тестирования, которые приводят к выдвижению не гипотез, а догадок:
- нет понимания, что может повлиять на принятие решения целевой аудиторией;
- тесты проводятся без стратегии, по надуманным причинам или просто из любопытства.
Эти варианты объединяет одна проблема: как правило, тестируется не то, что способно увеличить конверсию конкретного сайта. В результате время тратится зря, и изменения не приносят особой пользы.
Гипотезы должны основываться на имеющейся информации об аудитории. Тогда проверка изменений, пусть даже цвета кнопки CTA, имеет смысл. Чтобы узнать, чего может не хватать посетителям сайта, стоит обратить внимание на такие данные:
- взаимодействие с сайтом (скроллинг, клики на элементы, видимость определенных областей страниц и т.п.);
- поисковые запросы (например, посетители рассчитывают получить ответ на «первом экране» посадочной страницы, но этого не происходит);
- опыт конкурентов (тестирование покажет, что из их арсенала действительно работает).
На основе полученной информации можно строить гипотезы о вероятно нужных изменениях и порядке их тестирования. Ясно, что цвет фона страницы будет иметь меньшее значение, чем расположение кнопки «Купить», и начинать лучше со значимых для конверсии элементов.
Выбор методики: А/В или МВТ?
Во время одного теста можно проверить существенно отличающиеся друг от друга варианты страниц или изменения деталей в рамках шаблона. Для этого есть два способа:
- А/В/N-тест. В этом случае проверяются разные варианты страниц, вплоть до полностью отличающихся друг от друга. Тестировать небольшие изменения таким способом тоже можно, но не всегда целесообразно.
- Многовариантный тест. С его помощью проверяется эффективность комбинаций различных элементов и их вариаций. Здесь, в отличие от первого способа, можно выявить зависимость и взаимное влияние элементов в разных сочетаниях, поскольку проверяются все возможные версии. Но и количество вариантов может приближаться к бесконечности.
Оба способа предполагают следующий порядок действий:
- определение уровня изменений, которого ожидается достигнуть (тип конверсии и показатель ее роста);
- определение статистически значимой выборки и необходимого количества человек, которые должны принять участие в тестировании для получения релевантного результата (можно воспользоваться одним из специальных онлайн-калькуляторов);
- обеспечение равномерного распределения посетителей сайта по вариантам страниц;
- проведение тестирования;
- достижение показателя не менее 95% от установленного вначале;
- доведение тестирования до конца (не менее двух недель);
- анализ результатов.
Выбор методики зависит от целей тестирования, но важно обратить внимание на второй и третий пункты плана действий. Трафик нужно распределять равномерно, иначе достоверность результатов будет сомнительной. А при многовариантном тестировании количество комбинаций, как уже говорилось, может быть большим, и получение значимой выборки для каждого варианта при скромном трафике займет много времени.
Как правило, делать выводы стоит при достижении показателя не менее 100 конверсий для каждой версии. Поэтому в ряде случаев целесообразнее проводить серию последовательных А/В-тестов, проверяя гипотезы по очереди. Но при таком подходе есть риск не заметить влияние разных сочетаний и пропустить оптимальный вариант. А если есть возможность запустить многовариантный тест на разумный срок, можно проверить сразу большое количество комбинаций.
Подытожим: МВТ подходит, когда трафика достаточно для одновременной проверки разнообразных версий одной страницы, а с помощью А/В/N-тестов удобно запускать два или несколько вариантов, отличающихся друг от друга по любым параметрам.
Сегментирование аудитории: в пределах разумного
Можно назвать две крайности при выборе аудитории для тестирования: полное невнимание к тому, каким людям будет показана та или иная версия, и попытка максимально конкретизировать сегменты. В первом случае не учитывается специфический опыт взаимодействия с сайтом и влияние на него изменений. Во втором велик риск слишком долго ждать появления достоверных результатов для каждого сегмента.
Аудиторию, участвующую в тестировании, стоит разделить по типу устройства – компьютеры, планшеты и смартфоны. Часто имеют значение пол, источник трафика и геолокация. Выбор остальных характеристик зависит от тематики сайта и цели внедрения изменений. В конце концов, проанализировать поведение отдельных сегментов аудитории можно по отчетам системы аналитики.
Процесс тестирования: когда сказать «стоп»?
Распространенная ошибка – остановка теста при достижении 95% ожидаемого показателя или при получении статистически значимой выборки. Но чтобы сделать верные выводы, важно в любом случае проводить тест не менее двух недель. Все просто: с течением времени ситуация может измениться, а поторопившись легко прийти к ошибочным выводам.
Даже если ожидаемые показатели получены в первые дни тестирования, нужно довести дело до конца. Тогда можно говорить о подтверждении или опровержении гипотезы, а не о случайном достижении результата.
Анализ данных: не только статистическая достоверность
Идеальное тестирование – это часть общей маркетинговой стратегии. Соответственно, при оценке его результата важно учитывать не только достижение предполагаемого результата, но и влияние изменений на процесс покупки в целом. Или же тест показывает, что на одном этапе ситуация улучшилась, и пора приступать к дальнейшей работе.
Поясним на примере. Изменение текста «призыва к действию» привело к увеличению количества лидов, но не к повышению прибыли. Следовательно, проблемы с конверсией вызваны не только кнопкой, и нужно обратить внимание на следующие этапы взаимодействия с сайтом.
Когда проведение тестов – это часть общей работы, проверка одной гипотезы приводит к появлению другой, и совершенствование становится постоянным и результативным. Поэтому стоит проводить комплексный анализ тестирования, учитывая все значимые показатели.
Отсутствие результата – тоже результат
Наконец, не каждый тест подтверждает гипотезу, и это нормально. Такое случается, если проверяемые элементы не влияют на принятие решения, либо их варианты оставляют аудиторию одинаково равнодушной или лояльной. Остается только сделать правильный вывод и приступить к проверке следующей гипотезы.
