«Мы поменяли заголовок, и заявок стало больше» — ещё не результат теста. Объясняем, как проверять гипотезы так, чтобы выводы были надёжными, а не случайными.
Зачем вообще тестировать
У каждого маркетолога есть интуиция: кажется, что зелёная кнопка лучше синей, а заголовок с цифрой сильнее заголовка с выгодой. Иногда интуиция права, но довольно часто реальные пользователи ведут себя иначе, чем мы ожидаем. A/B-тест — способ заменить мнения данными.
Суть метода проста: аудитория случайным образом делится на две группы. Одна видит текущий вариант (A, контрольный), другая — изменённый (B). Всё остальное одинаково. Если вариант B стабильно показывает лучший результат на достаточном объёме данных, изменение можно внедрять.
Тестируют всё, что влияет на конверсию: тексты объявлений, изображения, офферы, посадочные страницы, формы заявок, цены и условия. Но метод работает только при соблюдении нескольких правил, о которых часто забывают.
Начинаем с гипотезы, а не с идеи
«Давайте попробуем другой баннер» — это идея. Гипотеза звучит иначе: «Если на баннере показать реальный интерьер клиники вместо стокового фото, кликабельность вырастет, потому что пациенты больше доверяют настоящим фотографиям». В хорошей гипотезе есть три части:
- Что меняем — конкретный элемент.
- Какой результат ожидаем — какая метрика и в какую сторону изменится.
- Почему — логика, на которой основано ожидание.
Зачем такие сложности? Во-первых, гипотеза задаёт метрику заранее, и вы не подгоняете выводы под результат. Во-вторых, даже проигравший тест даёт знание: если реальные фото не сработали, значит, причина низкого доверия, возможно, в другом.
Источники гипотез — данные Яндекс Метрики (на каком шаге уходят посетители), записи сессий в Вебвизоре, вопросы клиентов менеджерам, отзывы, анализ конкурентов. Лучшие гипотезы рождаются из наблюдения за реальным поведением, а не из мозгового штурма.
Одно изменение за раз
Самая распространённая ошибка — изменить в варианте B сразу заголовок, картинку, цвет кнопки и текст оффера. Даже если B выиграет, вы не узнаете, какое именно изменение сработало. А возможно, одно из них помогло, а другое навредило, и в сумме разница получилась скромной.
Правило «одно изменение — один тест» замедляет работу, но делает выводы понятными. Если трафика мало и ждать результатов по каждому элементу долго, можно тестировать концептуально разные варианты целиком — например, две принципиально разные посадочные страницы. Но тогда и вывод будет соответствующий: «концепция B лучше», без понимания, за счёт чего.
Существуют и многовариантные тесты, где одновременно проверяют комбинации нескольких элементов. Они требуют очень большого трафика и подходят крупным проектам, а не небольшому бизнесу.
Сколько данных нужно для вывода
Это главный вопрос, на котором спотыкается большинство. Представьте: за первый день вариант A получил 3 заявки, вариант B — 6. Кажется, B вдвое лучше. Но на таких числах разница вполне может быть случайной — завтра соотношение легко поменяется на обратное.
Чтобы отличить реальный эффект от шума, используют понятие статистической значимости. Не углубляясь в математику: чем меньше разница между вариантами и чем ниже базовая конверсия, тем больше данных нужно для надёжного вывода. Для расчёта нужного объёма выборки есть бесплатные онлайн-калькуляторы — в них вводят текущую конверсию и минимальный эффект, который хочется обнаружить.
Условный пример: при конверсии страницы около 3% и желании заметить улучшение хотя бы на треть может понадобиться несколько тысяч посетителей на каждый вариант. Для небольшого сайта это недели или месяцы. Поэтому малому бизнесу стоит тестировать крупные, смелые изменения: их эффект заметнее, и данных для вывода нужно меньше.
| Ситуация | Что это значит | Что делать |
|---|---|---|
| Разница большая, данных мало | Может быть случайностью | Продолжать тест |
| Разница маленькая, данных много | Эффект, скорее всего, незначим | Считать варианты равными |
| Разница устойчивая, значимость достигнута | Результат надёжен | Внедрять победителя |
| Результаты скачут день ото дня | Сильное влияние внешних факторов | Увеличить срок теста |
Сколько длится тест
Даже если нужный объём набрался за три дня, не спешите останавливать эксперимент. Поведение пользователей зависит от дня недели: в будни и выходные на сайт приходят разные люди с разными намерениями. Минимальная рекомендуемая длительность — одна полная неделя, лучше две.
Ещё одна ловушка — «подглядывание». Если каждый день смотреть на результаты и остановить тест в момент, когда B вырвался вперёд, вероятность ложного вывода сильно возрастает. Определите объём выборки и срок заранее и придерживайтесь их.
Избегайте тестов в нетипичные периоды: распродажи, праздники, резкие изменения бюджета. Результат, полученный в такие дни, может не повториться в обычное время.
Как тестировать объявления
В контекстной рекламе тест объявлений — самый доступный эксперимент. В Яндекс Директе в одной группе можно разместить несколько объявлений, и система будет показывать их, накапливая статистику. Однако стоит помнить, что при автоматической ротации система сама перераспределяет показы в пользу более успешного, по её мнению, варианта, поэтому условия не всегда равные.
Для более чистого эксперимента в рекламных системах обычно есть инструменты экспериментов, которые делят аудиторию на сегменты. Возможности таких инструментов меняются, поэтому проверьте актуальные настройки в справке площадки.
Что полезно проверять в объявлениях:
- заголовок с ценой против заголовка с выгодой;
- конкретный оффер («Доставка за 2 часа») против общего («Быстрая доставка»);
- призыв к действию в тексте;
- разные изображения в графических и товарных форматах;
- набор быстрых ссылок и уточнений.
Оценивайте объявления не только по кликабельности, но и по конверсии в заявку. Кликбейтный заголовок может собрать много переходов, но привести людей с завышенными ожиданиями, которые уйдут без заявки.
Как тестировать посадочные страницы
Для тестов страниц используют сервисы, которые делят трафик между вариантами, либо создают две отдельные страницы и направляют на них трафик из разных объявлений или кампаний с одинаковыми настройками. Второй способ проще, но требует аккуратности, чтобы условия были действительно равными.
Что даёт наибольший эффект на страницах:
- Оффер и первый экран — что человек видит сразу после перехода.
- Форма заявки — количество полей, текст кнопки, расположение.
- Социальные доказательства — отзывы, кейсы, логотипы клиентов.
- Цены — показывать или нет, в каком формате.
- Структура — длинная страница с подробностями против короткой.
Совет из практики. Ведите журнал тестов: гипотеза, даты, объём трафика, результат, вывод. Через полгода он превращается в базу знаний о вашей аудитории, а новые сотрудники не будут повторять эксперименты, которые уже проводились.
Как не ошибиться при подведении итогов
- Смотрите на сегменты осторожно. Если в целом варианты равны, но «на мобильных в Москве B лучше», это может быть случайностью. Такие находки — повод для нового теста, а не для внедрения.
- Проверяйте качество заявок. Вариант с короткой формой может дать больше заявок, но меньше продаж. Сверяйтесь с данными CRM.
- Учитывайте эффект новизны. Яркое изменение иногда даёт всплеск в первые дни, который потом затухает.
- Перепроверяйте неожиданные результаты. Если скромное изменение дало огромный прирост, сначала убедитесь, что цели в аналитике работают правильно и трафик действительно делился поровну.
Что в итоге
A/B-тест — простой по идее, но требовательный к дисциплине инструмент. Формулируйте гипотезу заранее, меняйте один элемент, считайте нужный объём данных, выдерживайте минимум неделю и не останавливайте тест при первом успехе. Оценивайте варианты по бизнес-метрикам, а не только по кликам. А если трафика мало, тестируйте смелые изменения — они дают заметный эффект быстрее. Так вы постепенно накапливаете знание о том, что действительно работает для вашей аудитории, и улучшаете рекламу на фактах, а не на догадках.
