Java, UX, HTML, CSS, WEB-design

В защиту A/B-тестирования

Краткое описание по статье В защиту A/B-тестирования

Название: В защиту A/B-тестирования . Краткое описание: [ad_1] ⭐ Парас Ч . Дата публикации: 24.02.2022 . Автор: Алишер Валеев .

Для чего создан сайт Novosti-Nedeli.ru

Данный сайт посвящен новостям мира и мира технологий . Также тут вы найдете руководства по различным девайсам.

Сколько лет сайту?

Возраст составляет 3 года

[ad_1]

  • Парас Чопра

  • 0 Комментарии

В защиту A/B-тестирования

  • 8 минут чтения

  • Дизайн, Тестирование

Краткое резюме ↬

В последнее время A/B-тестирование подверглось (несправедливой) критике со стороны различных кругов в Интернете. Несмотря на то, что эта критика содержит некоторые важные моменты, основной аргумент против A/B-тестирования ошибочен. Кажется, что это путает методологию A/B-тестирования с ее конкретной реализацией (например, тестирование красных и зеленых кнопок и другие тривиальные тесты). Давайте посмотрим на различные критические замечания, недавно появившиеся в Интернете, и выясним, почему они необоснованны.

В последнее время A/B-тестирование подверглось (несправедливой) критике со стороны различных кругов в Интернете. Несмотря на то, что эта критика содержит некоторые важные моменты, основной аргумент против A/B-тестирования ошибочен. Кажется, что это путает методологию A/B-тестирования с ее конкретной реализацией (например, тестирование красных и зеленых кнопок и другие тривиальные тесты). Давайте посмотрим на различные критические замечания, недавно появившиеся в Интернете, и выясним, почему они необоснованны.

Дальнейшее чтение на SmashingMag:

  • Полное руководство по A/B-тестированию
  • Дорожная карта, чтобы стать экспертом по A/B-тестированию
  • Многовариантное тестирование в действии
  • Как юзабилити-тестирование значительно улучшило приложение моего клиента

Аргумент №1: A/B-тестирование и локальный минимум

Джейсон Коэн в своем посте «Из выгребной ямы и в канализацию: ловушка A/B-тестирования» утверждает, что A/B-тестирование дает локальный минимум, в то время как целью должно быть достижение глобального минимума. Для тех, кто не понимает разницы между локальным и глобальным минимумом (или максимумом), подумайте о коэффициенте конверсии как о функции различных элементов на вашей странице. Это как область в пространстве, где каждая точка представляет вариант вашей страницы; чем ниже точка в пространстве, тем лучше. Чтобы позаимствовать пример у Джейсона, вот проблема с локальным и глобальным минимумом:

Еще после прыжка! Продолжить чтение ниже ↓

Как признает даже Джейсон в своем посте, этот аргумент на самом деле не касается A/B-тестирования, потому что та же методология может использоваться для тестирования радикальных изменений, чтобы достичь глобального минимума. Таким образом, называть это ловушкой A/B-тестирования несправедливо, потому что это не имеет ничего общего с A/B-тестированием. Скорее, аргумент раскрывает бесполезность тестирования небольших изменений.

Итак, если A/B-тестирование не является причиной, является ли реальная проблема локальными минимумами? Нет, даже теория дисконтирования локальных минимумов ошибочна. На изображении выше показан очень простой одномерный фитнес-ландшафт. Вы можете представить ось X как цвет фона, а ось Y как показатель отказов. Аргумент Джейсона звучит примерно так: если вы протестировали десятки оттенков синего, вы можете снизить показатель отказов, но если вы попробуете что-то совершенно другое (например, желтый), вы можете достичь абсолютно минимально возможного показателя отказов на своей странице.

У этого аргумента есть две проблемы…

1. Вы никогда не знаете наверняка, нашли ли вы глобальный минимум (или максимум)

Глобальный минимум (или абсолютный максимум) существует только в теории. Давайте продолжим на примере крайне желтого фона, дающего вам глобальные минимумы (в показателе отказов). Что, если после дальнейшего тестирования вы обнаружите, что отсутствие цвета фона приводит к более низкому показателю отказов? Или еще лучше, что фон, полный изображений лолкотов, дает вам еще более низкий показатель отказов? Дело в том, что если вы не снизили показатель отказов до 0% (или коэффициент конверсии до 100%), вы никогда не сможете быть уверены, что действительно достигли глобального оптимума.

Есть еще один способ определить, нашли ли вы глобальный оптимум: исчерпав все возможности. Теоретически, если бы ваша страница не содержала ничего, кроме цвета фона (и вы даже не могли бы добавить фоновое изображение, потому что ваш босс его ненавидит), то вы могли бы переключаться между все доступные цвета фона и посмотрите, какой из них дал вам самый низкий показатель отказов. Исчерпав все возможности, цвет, который дает вам самый низкий показатель отказов, должен быть абсолютно лучшим. Это подводит нас ко второму пункту…

2. Дело не только в цвете фона, друг мой

При оптимизации веб-страницы вы можете варьировать буквально сотни или тысячи переменных (цвет фона — лишь одна из них). Заголовок, копия, макет, длина страницы, видео, цвет текста и изображения — вот лишь некоторые из таких переменных. Ваша цель для страницы (с точки зрения конверсии или показателя отказов) определяется всеми этими переменными. Это означает, что ландшафт фитнеса (как видно на изображениях выше) не одномерен и никогда не бывает таким простым, как кажется. На самом деле он многомерный, с кучей переменных, влияющих на минимумы и максимумы:

Опять же, представьте пики как коэффициент конверсии (или показатель отказов), а различные параметры — как переменные на вашей странице (здесь только две, но на самом деле их сотни). В отличие от одномерного случая, исчерпание всех возможностей в реальном сценарии (т.е. при оптимизации конверсии) невозможно. Как и ты никогда гарантированно нашли глобальные максимумы (или минимумы). Урок, который необходимо усвоить: принять локальные минимумы.

Аргумент № 2: A/B-тестирование тривиальных изменений

Рэнд Фишкин из SEOMoz опубликовал статью под названием «Не попадайтесь в ловушку мелочей A/B-тестирования», в которой он повторяет аргумент Джейсона о том, чтобы не тратить время на тестирование небольших элементов на странице (заголовок, текст и т. д.). Его главный аргумент заключается в том, что получение локальных максимумов (путем тестирования тривиальных изменений) требует слишком много энергии и времени, чтобы оно того стоило. Посмотрите на изображение ниже, воспроизведенное из его блога, но немного измененное, чтобы подчеркнуть суть:

Снимок экрана
Большой вид

Первое, на что следует обратить внимание, это то, что альтернативная стоимость — это не время, необходимое для запуска теста (которое составляет недели), а скорее время, необходимое для настройки теста (которое составляет минуты). После того, как вы настроили тест, он в значительной степени автоматизирован, поэтому вы рискуете только временем, потраченным на его настройку. Если вложение 15 минут на настройку теста цвета кнопки в конечном итоге приводит к повышению коэффициента конверсии на 1,5%, что в этом плохого?

Многие инструменты A/B-тестирования (включая Visual Website Optimizer — отказ от ответственности: мой стартап) упрощают настройку небольших тестов. Они также контролируют ваш тест в фоновом режиме, поэтому, если он не является победителем, он автоматически приостанавливается. Каков тогда риск проведения таких тривиальных тестов? Я вижу только плюсы: увеличение продаж и конверсий.

Чтобы доказать свою точку зрения, Рэнд приводит пример недавнего редизайна домашней страницы Basecamp, благодаря которому Basecamp удалось увеличить коэффициент конверсии на 14%. Вы можете себе представить, сколько усилий ушло на такой редизайн (по сравнению с тестом на цвет кнопок)? На самом деле, поскольку ландшафт фитнеса многомерен (и очень сложен), полная модернизация с гораздо большей вероятностью приведет к ухудшению результатов. Сложный дизайн может пойти не так по многим другим причинам, чем простой цвет кнопки. Поскольку мы никогда не слышали о примерах неудачных редизайнов (привет, систематическая ошибка выживания), мы не должны делать вывод, что тестирование радикальных изменений — лучший подход, чем тестирование мелочей (особенно потому, что радикальные изменения требуют огромных затрат усилий и времени по сравнению с небольшими изменениями). по сравнению с синими тестами).

С локальными минимумами (или максимумами) вы как минимум точно знаете, что повышаете конверсию, что напрямую ведет к увеличению прибыли. Это не означает, что мы должны отказаться от нашей охоты за глобальным оптимумом. Глобальный оптимум подобен миру во всем мире: его невероятно трудно достичь, но мы должны продолжать двигаться в этом направлении. Урок, который необходимо усвоить: идеальная стратегия — это сочетание небольших (красные и синие) тестов и тестов радикального перепроектирования.. Прыгая через горы в фитнес-ландшафте конверсии, вы гарантируете, что постоянно ищете лучшие коэффициенты конверсии.

Аргумент № 3: A/B-тестирование душит творчество

Джефф Этвуд сравнивает фильм «День сурка» с (сюрпризом, сюрпризом) A/B-тестированием и приходит к выводу, что, поскольку главный герой потерпел неудачу в фильме, A/B-тестирование также должно провалиться. Джефф предполагает, что, лишенный всех (не-) сравнений, A/B-тестированию не хватает эмпатии и оно душит творчество. Он продолжает цитировать твит Натан Бауэрс:

A/B-тестирование похоже на наждачную бумагу. Вы можете использовать его для сглаживания деталей, но на самом деле вы ничего не можете с его помощью создать.

Кто утверждал, что A/B-тестирование полезно для создания чего угодно? Создание происходит в уме, а не в инструменте. Те же ошибочные рассуждения можно применить и к кисти:

Кисть похожа на палку с мехом. Вы можете использовать его, чтобы потыкать свою кошку, но вы не можете ничего с ним создать.

A/B-тестирование, как и кисть, — это инструмент, и, как и все инструменты, оно имеет свои свойства и ограничения. Это не диктует, что вы можете тестировать; следовательно, это не ограничивает ваше творчество. A/B-тестирование или нет, вы можете применить весь спектр своего творчества и эмпатии, чтобы придумать новый дизайн для своего веб-сайта. Вам решать, следовать ли своей интуиции и немедленно внедрить его на веб-сайт или применить более научный подход и определить, конвертируется ли новый дизайн лучше, чем существующий. Урок выучен: A/B-тестирование — это инструмент, а не руководство по дизайну.

Резюме

Повторим уроки, извлеченные из трех приведенных выше аргументов:

  • Поскольку вы никогда не сможете достичь глобальных минимумов, примите локальные минимумы. Тестирование тривиальных изменений занимает несколько минут, но потенциальный результат намного превышает стоимость этих минут.
  • Постоянно изучайте лучшие способы повышения коэффициента конверсии, регулярно выполняя как тривиальные тесты, так и тесты радикального изменения дизайна.
  • A/B-тестирование — это инструмент, который не убивает ваше воображение (на самом деле вам больше всего нужно воображение при разработке вариантов).
  • Наконец, не чувствуйте себя виноватым из-за проведения A/B-тестирования.
Сокрушительная редакция
(аль)



[ad_2]
Source: https://smashingmagazine.com

Заключение

Вы ознакомились с статьей — В защиту A/B-тестирования

Пожалуйста оцените статью, и напишите комментарий.

Похожие статьи

Добавить комментарий

Ваш адрес email не будет опубликован.

Кнопка «Наверх»