10 июля 2017

4 типичных ошибки в А/Б тестировании (и как их исправить)

Время чтения: 8 мин.

При создании контента для веб-страниц довольно легко предположить, на что может откликнуться ваша аудитория, но такой подход не всегда работает.

Представляем А/Б тестирование: один из простейших и самых популярных способов оптимизации показателей конверсии (CRO), известный маркетологам. Но в то время, как одни предприятия извлекают из этого типа тестирования полезную информацию, помогающую усовершенствовать процесс принятия решений, другие, однажды его испробовав и не получив никаких ценных результатов, впадают в отчаяние.

Проблема в том, что небольшие ошибки, совершаемые во время проведения А/Б тестирования, могут привести к беспрестанной оптимизации, которая не приводит ни к каким существенным результатам. Чтобы с этим бороться, сначала надо выделить самые распространенные ошибки (вместе со средствами их профилактики). Эти советы призваны помочь вам следить за ходом выполнения своих планов по тестированию, чтобы вы смогли конвертировать больше посетителей в клиентов, так что, поехали…

Проблема № 1: Плохой инструмент для тестирования.

Популярность – палка о двух концах: это верно как для старшеклассников, так и для программного обеспечения А/Б тестирования.

Широкое распространение А/Б тестирования привело к созданию огромного количества самых разнообразных замечательных, недорогих инструментов для пользователей, но далеко не все из них так хороши. Безусловно, разные инструменты обладают разным функционалом, но здесь могут иметь место и более хитрые различия. И если вы не в курсе этих различий, с вашими А/Б тестами могут начаться проблемы даже еще до того, как вы начнете.

К примеру, знаете ли вы, что некоторое программное обеспечение для тестирования может существенно замедлить работу вашего сайта? Это может негативно сказаться на SEO и общих показателях конверсии.

Дело в том, что в среднем всего одна секунда задержки в загрузке страницы выливается в сокращение количества просмотров на 11%, а конверсий – на 7%. Это создает настоящий сценарий для фильма ужасов, где веб-сайты, которые вы хотели усовершенствовать с помощью А/Б тестирования, из-за ваших стараний начинают работать еще хуже, чем раньше.

Все может быть еще хуже: Выбранное средство для А/Б тестирования может напрямую влиять на результаты самих тестов. Предприниматель и влиятельный человек Нил Пател обнаружил, что используемый им инструмент для А/Б тестирования показывал значительные различия в результатах, но вот когда он создавал новую страницу, никаких изменений в конверсии не происходило. Оказалось, что проблема была именно в несовершенном инструменте.

Итак, что же можно сделать, чтобы убедиться, что ваше ПО для А/Б тестирования работает правильно?

Совет: Запустите А/А тест.

Перед тем, как запускать А/Б тест, прогоните А/А тест на своем инструменте, чтобы убедиться, что его работа не влияет на скорость загрузки и работу сайта.

Для непосвященных, А/А тест очень похож на А/Б тест. Разница в том, что при А/А тесте обеим группам пользователей демонстрируется одна и та же страница. Именно, вам нужно буквально сравнить страницу с самой собой. Поначалу это может показаться глупым, но, запустив А/А тест, вы сможете зафиксировать искажения, которые провоцирует ваше ПО для тестирования.

А/А тест – это единственный случай, когда вам нужно, чтобы показатели были плохими. Если показатели конверсии падают, как только вы запустили тестирование, то, вероятно, ваш инструмент замедляет работу сайта. Если различия между двумя страницами принимают характер трагедии, то, скорее всего, дело именно в программном обеспечении.

Проблема № 2: Вы прекращаете тестирование при появлении первых значительных результатов.

Это статистический эквивалент ситуации, в которой вы в разгаре игры забираете свой мяч и идете домой. К сожалению, когда речь идет об А/Б тестировании, остановка теста сразу после появления первых статистически значимых результатов – это не просто плохое отношение к спорту; это ведет к совершенно неверным вычислениям.

Многие инструменты подталкивают пользователей к этой ошибке, включая кнопку «остановить тест» сразу при появлении первого статистически значимого результата. Но если вы хотите действительно усовершенствовать свой сайт, вам нужно бороться с искушением прерывать тесты раньше времени. Это может показаться парадоксальным, но чем чаще вы проверяете свои тесты, тем выше вероятность увидеть неверные результаты.

Проблема здесь заключается в «ложно-положительных» результатах, которые некорректно отображают различия между страницами. Чем чаще вы проверяете результаты, тем выше вероятность наткнуться на ошибку.

Но это не проблема, если вы держите себя в руках и не прерываете тест раньше времени. Однако если вы завершаете тестирование при появлении первых положительных результатов, вы легко можете пасть жертвой этих обманчивых ошибок.

Аналитическое агентство «Heap» опубликовало результаты имитационных экспериментов, показывающие, какому риску подвергается ваш сайт при преждевременной остановке теста.

При проведении стандартного тестирования на аудитории из 1000 пользователей и проверке тестов только один раз вероятность появления ложно-положительного результата равняется 5%. Если же тестировщик проверяет результаты той же группы 10 раз, шанс наткнуться на ошибочный результат возрастает до 19,5%. А при проверке в 100 раз 5% резко превращаются в 40,1%.

Очень полезные для запоминания цифры, обязательно понадобятся в следующий раз, когда вы возрадуетесь многообещающим результатам.

Совет: Придерживайтесь заданного размера выборки.

Дисциплина – ключ к успеху в борьбе с ложно-положительными результатами. Размер выборки – это ваши строгие рамки, которых нужно придерживаться, чтобы побороть желание преждевременно останавливать тестирование (не важно, как заманчиво выглядят выдаваемые результаты).

Не беспокойтесь и не ломайте голову над тем, какой величины должна быть ваша выборка. Существует большое разнообразие онлайн сервисов, которые помогут вам рассчитать минимальный рабочий размер выборки. Одни из самых популярных – Optimizely и VWO.

Еще одно замечание по поводу размера выборки: Помните, что вам нужно придерживаться цифр, близких к реальности. Да, всем хочется тестировать сразу на миллионах пользователей, но, большинству из нас, увы, недоступна такая роскошь. Так что прежде, чем выбирать размер целевой выборки, лучше сначала приблизительно оценить время, которое вам понадобится для получения правдоподобных результатов.

Проблема № 3: Вы концентрируетесь только на конверсии.

Когда вы глубоко погружаетесь в дебри А/Б тестирования, очень просто увидеть отдельные деревья, но упустить из внимания целый лес. Говоря более конкретно, при проведении А/Б теста можно запросто сконцентрировать все внимание на одних конверсиях и совершенно упустить из виду остальные перспективные результаты.

Внесение изменений в сайт, конечно, может увеличить показатели конверсии, но в то же время, если конвертируемые пользователи оказываются низкого качества, то увеличенные показатели конверсии в скором времени могут негативно отразиться на вашем бизнесе.

В А/Б тестировании можно запросто пасть жертвой преходящих, сиюминутных метрик, которые отвлекают ваше внимание от настоящих прибыленосных результатов. Если вы тестируете элемент призыва к действию на главной странице, вы не должны фокусироваться исключительно на конверсиях главной страницы. Вместо этого измерьте появляющиеся на странице лиды и, в идеале, попробуйте связать их с прибылью, которую они приносят.

Совет: Протестируйте гипотезу.

Перед запуском А/Б теста нужно сформулировать гипотезу, которую вы хотите подтвердить или опровергнуть. Привязав эту гипотезу к KPI, ведущим к настоящим бизнес-результатам, вы сможете уберечь себя от чрезмерного внимания к преходящим метрикам.

Ваш А/Б тест нужно оценивать по его способности влиять на эти KPI, а не на другие связанные сущности. Так что если ваша цель – увеличить количество регистраций на сайте, всегда судите успешность оптимизации по количеству регистраций, а не по количеству переходов на страницу регистрации.

Когда пытаетесь доказать или опровергнуть сформированную гипотезу, не отбрасывайте напрасно какие-либо результаты, в данный момент не имеющие статистической ценности, так как они служат хорошей информационной базой для будущих тестов. К примеру, если изменение CTA вашей страницы дало небольшое статистически значимое улучшение, то это может быть знаком того, что вы на пороге какого-то полезного открытия. Попробуйте запустить дальнейшие тесты CTA и посмотрите, дал ли результат какого-то из этих показателей статистически значимое улучшение.

Проблема № 4: Вы тестируете только мелкие изменения.

Тест на цвет кнопки может свести на нет все А/Б тестирование, так как его популярность сделала его основой для понимания того, как правильно использовать А/Б тесты. Но тут больше вопрос практики. Какой-нибудь крупный веб-сайт может получить большую отдачу от изменения чего-то мелкого, вроде цвета кнопки, но подавляющему большинству из нас такие маленькие улучшения не принесут никаких заметных результатов.

А/Б тестирование может сподвигнуть нас на крошечные улучшения, но, концентрируясь только на них, мы рискуем упустить какую-нибудь большую возможность.

Совет: Периодическое радикальное тестирование.

Неплохое правило? Периодическое тестирование вносит радикальные изменения на вашу страницу (поэтому его принято называть радикальным тестированием). Если вы наблюдаете у себя слабые показатели конверсии, то, возможно, это сигнал к проведению тестов, которые должны привести к каким-то радикальным изменениям.

Воспринимайте тестирование как игру в покер: время от времени вам нужно делать большую ставку, чтобы получить большую отдачу.

Но перед тем, как вы помчитесь проповедовать радикальное тестирование, сначала узнайте о его недостатках. Во-первых, оно более трудозатратно, чем А/Б тестирование. Радикальное тестирование потребует от вас много времени на проектирование редизайна главной страницы. Из-за таких временных затрат, рекомендую вам проводить радикальные тесты один раз в определенный промежуток времени.

Еще одним недостатком радикального тестирования является то, что при его проведении трудно выделить факторы, оказывающие наибольшее влияние на работоспособность вашего сайта. Радикальное тестирование позволяет вам определить, окажет ли большая переделка страницы влияние на ваши конверсии, но не дает вам понять, какие отдельные изменения приводят к таким результатам, – не забывайте об этом.

Это лишь немногие из самых распространенных ошибок в А/Б тестировании, на самом деле их, конечно же, больше… намного больше. Поделитесь своим опытом в комментариях.