Когда предлагают A/B или сплит тестирование

На данное время, веяние в разработке веб-сайтов и приложений — это упрощение интерфейсов, сведение к минимуму графики и повышение конверсии сайта. Первые два пункта отталкиваются от того, что очень популярным становятся мобильные платформы, а там не такой скоростной интернет, как хотелось бы и не такие большие экраны как на ноутбуках или стационарных компьютерах. Ну а повышение конверсии — этот вопрос насущный всегда, да еще и при новых трендах в веб-дизайне абсолютно необходимый к вниманию клиента момент. Для тестирования и выбора того что эффективно появилось сплит-тестирование.

Сплит тестирование (или его еще называют A/B тестирование) подразумевает под собой набор инструментов в системах аналитики или специализированных системах тестирования, позволяющие производить случайный или настраиваемый по определенным признакам подмен двух различных вариантов страницы, контента, картинок и так далее, а после их дальнейшее тестирование.

Что вам может дать A/B тест:

  1. Произвести сбор статистики по двум различным вариантам какого-либо контента.
  2. Проанализировать статистику, понять поведение и реакцию ппосетителей на различные элементы.
  3. Проверить конверсию различных кнопок, форм или других целей, которые нам необходимы от пользователей.
  4. Определиться с конечным вариантом из двух полготовленных. Помогает иногда решать споры межде заказчиком и исполнителем или просто внутри компании.
  5. Можно тестировать не только ваш сайт, но и рассылки, рекламные блоки и т.д.

Недосказанность в A/B тестировании:

Задайтесь вопросом — у вас есть два одинаковых друга или знакомых? У меня тоже нет. Тогда почему можно доверять сплит-тестированию? Почему можно считать правильным если одна страничка дает больше конверсии чем вторая? Ведь сплит-тест предлагает варианты случайным образом, а может просто получается угадывание по вкусам и один из вариантов собрал больше тех, кому он оказался по душе. Именно такие вопросы возникают у меня, когда мы делаем подобное тестирование. Нельзя быть уверенным, что все сделано правильно. 

Идеи по проведению эффективного сплит-тестирования

Мне кажется, что необходимо сплит-тесты проводить на возвратных посетителях в дополнение к обычному. Представьте себе, что зайдя первый раз в интернет-магазин вы видите одну картину, а на следующий день другую и вы увидели новый тестируемый блок и среагировали на него, а может и нет. С другой стороны посетитель может воспринять это как обновление на сайте и среагировать ради интереса.

В общем, вопросов больше, чем ответов, однако это эффективный инструмент, который необходим всем разработчик и лицам, проводящим рекламные кампании. 

MVT

На последок, хочется сказать о внедрении мультиваритивного тестирования в различные инструменты аналитики и рекламы. Больше вариантов — дает больше возможностей по тестированию, но при этом увеличивают сложность анализа результатов. Для примера MVT совсем недавно внедрил Яндекс.Директ в составление рекламной кампании, добавив возможность тестирования до 50 вариантов объявлений в одном.