Към съдържанието

Текст на урока

Четене, мащаб и система · Урок 067 · 3:05 мин

Смислен A/B тест на креативи

Ще планираш A/B тест, в който сравняваш само едно нещо, и ще запишеш хипотезата и основния показател, преди да видиш числата.

Какво ще научиш

  1. Запиши хипотеза и основен показател преди резултатите
  2. Сменяй само началото и пази всичко останало еднакво
  3. Провери, че групите са две равни и взаимно изключващи се
  4. Не обявявай ранен победител по ден, разход или моментен CPA

Инструмент към урока

Протокол за смислен A/B тест

Една хипотеза, два написани варианта, един показател. Ако се различава повече от едно нещо, не знаеш кое е причината.

Въпросът, преди числата
Вариант А
Вариант Б
Контекст на А и Б: трябва да е еднакъв
Учебни числа
CTR на А2%Кликове / показвания × 100
CTR на Б2,3%Кликове / показвания × 100
Различават се1начало
ПобедителнямаТочкова разлика не е достатъчно доказателство

Сравнението е съвместимо. Все още няма основание да избереш победител.

Измислени числа: по-висок CTR не доказва победител, покупки или причинен ефект, а разпределението не е проверено.

Следващ: 068 Бюджети и продължителност на теста