Многомерное тестирование: что это и как его проводить

MMT-02
«Многомерное тестирование — это сложно». «Многомерное тестирование дает непоказательные результаты». «Многомерное тестирование — это А/В-тестирование, но с многими переменными». Возможно, не раз такие утверждения останавливали вас от проведения многомерных тестов своего сайта. Но что из этого соответствует действительности?

Разница между А/В-тестированием и многомерным тестированием

Чтобы сравнить две или более версий веб-страницы, равномерно разделяя трафик между ними, мы используем A/B тестирование. Многомерное тестирование (ММТ) позволяет изменять более одного элемента на странице и найти наиболее удачное сочетание для конверсии.

Скажем, у нас по три варианта двух элементов — заголовка и функциональной кнопки. Это дает девять комбинаций, которые нужно протестировать. Чтобы посчитать общее количество комбинаций, надо возвести количество вариаций в степень, равную количеству элементов (три в квадрате, в нашем случае):

MMT-01-vwo-multivariate-testing-Google-Search

Брайан Гатти, партнер в Inspire Business Concepts, описывает разницу между двумя видами тестирования:

«Преимущество ММТ над традиционным А/В в том, что я могу отделить выигрышную комбинацию быстрее и перейти сразу к удачным. Как только у нас есть все переменные, мы уже не обязаны проводить набор отдельных А/В-тестов поменьше. Также я могу понять, как влияние двух переменных изменится, если они случатся одновременно. Если я изменю цвет кнопки и картинку для ММТ, иногда может получиться уникальная синергия двух элементов, которую на А/В-тесте я бы просто не увидел».

Как верно заметил Брайан, ММТ нужны для замера эффекта взаимодействия между независимыми элементами, которые покажут, какие комбинации работают лучше всего. Эффект взаимодействия замеряет одновременное воздействие двух и более переменных на общую конверсию.

А/В или ММТ — стоит ли выбрать что-то одно?

А/В и ММТ служат разным, совершенно конкретным целям.

А/В поможет получить ответы на вопросы типа: «На какую часть страницы мне прикрепить видео, чтобы оно привлекло больше внимания?». ММТ отвечает на вопросы типа: «Лучше ли реагирует посетитель на видео, размещенное рядом с контактной анкетой, или просто на страницу с формой для контактов без всякого видео?» и так далее.

Проще говоря, А/В-тесты замеряют отдельные воздействия, а ММТ — совокупные. Используя оба, как взаимодополняющие тесты, вы получите максимум от своей программы по оптимизации.

Как создать успешный многомерный тест

1. Составьте таблицу с планом ММТ

Сначала нужно взвесить за и против поведения ММТ и принять разумное решение с учетом ваших ресурсов. Крис Говард назвал 4 преимущества ММТ:

  • простая изоляция многих малых элементов страницы и понимание их индивидуальных воздействий на уровень конверсии;
  • возможность замера эффекта от взаимодействия разных независимых элементов;
  • возможность следовать более консервативному пути пошагового наращивания уровня конверсии;
  • сбор интересных статистических аналитических данных об эффекте взаимодействия элементов.

Дальше можно спланировать календарь или дорожную карту для ММТ. Календарь может содержать хранилище потенциальных элементов и вариаций, которые нужно протестировать.

Системный подход к оптимизации конверсии требует:

  • исследования возможности создать тестируемые гипотезы
  • приоритизации гипотез, чтоб понять, что тестировать сначала
  • тестирования и анализа результатов для пользы будущих тестов

И уже на стадии планирования надо избавляться от наиболее невероятных или странных комбинаций.

К примеру, на сайте вашего магазина есть заголовок «Скидка 15 долларов на все часы», а кнопка говорит «Подписаться на рассылку», вместо, скажем, «Купить». Такие варианты несовместимы. Удалите такие несовместимости еще на стадии планирования.

2. Определите объем трафика

Поскольку ММТ работает с вариациями, их будет больше, чем в случае с А/В-тестами. А это означает, что ваш общий трафик придется разделить между всеми такими вариантами, сколько бы их ни было.

Например, есть у вас 1000 посетителей, которые заходят к вам на главную; чтобы запустить ММТ с тремя элементами и двумя вариациями, каждая вариация должна получить по 125 визитов (1000/8):

MMT-02

Поэтому лучше оценить объем трафика изначально и откалибровать количество вариаций (или элементов) соответственно.

3. Учитывайте ошибки

Каждый тест подразумевает некую возможность ошибки в результатах. Также нужно помнить, что повышая количество вариаций, вы увеличиваете возможность ложно положительного результата.

MMT-03

Предположим, что вероятность ошибки составляет 5% на вариацию. А количество вариаций в тесте, допустим, 20. Вероятность ложно положительного результата в хотя бы одной комбинации составляет 64% [= 100* (1 – (95/100)^20)].

И ваше А/В-тестирование должно такие тесты принимать во внимание. На данный момент мы пользуемся Sidak Correction, чтобы справляться с такими проблемами. Так вы точно будете знать, что вероятность даже одного ложно положительного результата для всех комбинаций — менее 5%, при условии все комбинации равные.

4. Собирайте данные со всех своих ММТ

По получении результатов ММТ сначала проверьте, какой вариант дал наиболее заметную (и значительную) прибавку. Но что если результаты непоказательные или отрицательные?

Вне зависимости от того, удалось вам улучшить сайт или нет, из любого теста можно извлечь хороший урок.

Если ММТ проваливается, все еще можно отыскать скрытых фаворитов такого теста, если применить послетестовую сегментацию.

Параметры сегментации могут быть любые: от пола посетителя до демографических данных и операционной системы. Вот для начала несколько идей от Авинаша Каушика:

  • По источнику: отделите органику от оплаченного трафика.
  • По поведению: новые посетители и постоянные, посетители из Штатов и из Европы. У разных посетителей и цели тоже разные. Важно понимать, что им нужно, и помогать им это получить.
  • По результату: Поделите людей по принципу покупаемого продукта, объема закупки или по принципу разницы между человеком, заполнившим форму заказа, и человеком, его оплатившим.

Если ММТ не показателен, ищите скрытых фаворитов или проведите анализ поведения посетителей и получить значимые данные.

 

Автор: Vaishali Jain

Источник: vwo.com

Не пропустите свежие статьи о e-commerce

Подпишитесь на рассылку и получайте подборку свежих статей раз в неделю. Без рекламы и спама.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *