A/B тест: статистически значимый результат за пару кликов

Базовый показатель — конверсия (отношение целевых действий к числу посетителей). Для двух вариантов (A — контроль, B — эксперимент) мы сравниваем конверсии: CR_A и CR_B. Формула проверки значимости — Z-тест для долей:

где p — объединённая доля конверсий ((conv_A+conv_B)/(n_A+n_B)), n — число посетителей. Если |Z| > 1.96 (для 95% доверительного интервала), разница статистически значима. Для расчёта размера выборки используют ту же формулу, решая её относительно n.

Возьмём кофейню с сайтом. Текущая конверсия (CR_A) — 10% (100 покупок на 1000 посетителей). Планируем изменить кнопку «Заказать» — ожидаем рост до 12% (CR_B). Какой размер выборки нужен? Используем Калькулятор A/B теста или считаем вручную:

• Z_α/2 = 1.96 (α=0.05, двусторонний)
• Z_β = 0.84 (мощность 80%)
• p₁=0.10, p₂=0.12

То есть нужно по 3137 посетителей на каждый вариант минимум. При трафике 500 чел/день тест займёт ≈ 12,5 дней. Результат: через 13 дней конверсия B — 11,5% (p=0.04) — значимо! Внедряем изменение.

Примечание: выборка тем больше, чем ниже базовая конверсия и чем меньше ожидаемый эффект. Для малых изменений (0.5% разницы) могут потребоваться сотни тысяч.

1. Преждевременная остановка: смотрят на результат через 2 дня и останавливаются, если p<0.05. Это даёт до 50% ложных срабатываний. Дождитесь расчётного размера выборки.
2. Множественное тестирование: проверяют 10 вариантов без поправки Бонферрони. Риск ложного открытия резко растёт.
3. Неучёт сезонности: тест идёт на выходных — конверсия выше, чем в будни. Разделите трафик равномерно.
4. Использование среднего вместо медианы: для метрик вроде времени на сайте среднее искажается выбросами.
5. Игнорирование маргинальных эффектов: новая кнопка может повысить конверсию на 1%, но ухудшить LTV. Смотрите на долгосрочные метрики.

Ручной расчёт по формуле отнимает 20-30 минут и чреват ошибками. Используйте Калькулятор A/B теста на нашем сайте. Достаточно ввести:

• конверсию контроля (%)
• ожидаемую конверсию эксперимента (%)
• уровень значимости (обычно 0.05)
• мощность (80%, реже 90%)

Калькулятор мгновенно выдаёт необходимый размер выборки на каждый вариант. Пример: при CR_A=10%, CR_B=12%, α=0.05, power=80% получаем 3137 — как в нашем ручном расчёте. Экономия времени и исключение ошибок.

Не всегда A/B тест — лучший метод. Рассмотрите:

• Байесовский подход: если у вас мало данных (менее 100 конверсий на вариант) — используйте байесовское обновление.
• Многорукий бандит: алгоритм, который динамически перераспределяет трафик в пользу лучшего варианта. Эффективен при высоком трафике.
• Эвристики: для дизайна мелких элементов (цвет кнопки) можно полагаться на исследования (например, красный улучшает клики на 20% vs зелёный).

Выбирайте A/B, когда важно статистическое подтверждение и есть ресурс на достаточный размер выборки.

Магазин продаёт товары по 2500 ₽, средняя маржинальность — 40%. Трафик — 10 000 посетителей/мес, конверсия 2%. Вы тестируете новый дизайн корзины, ожидая рост конверсии до 2.5%.

• Размер выборки: n≈34 000 (калькулятор)
• Длительность при 10 000 посетителей/мес: 3.4 месяца
• Доход с контрольной группы за время теста (34 000×0.02×2500×0.4) = 680 000 ₽
• Если тест провалился (нет значимого эффекта) — потеря трафика и времени
• Если успешен — конверсия станет 2.5%, дополнительный доход в месяц: 10 000×0.005×2500×0.4 = 50 000 ₽

В данном случае тест окупается за 13.6 месяцев, что может быть приемлемо для стратегического решения.

Если ваш бизнес — новый проект с трафиком 500 посетителей в месяц, провести классический A/B тест сложно. Для конверсии 10% и ожидаемого эффекта 5% (с 10% до 15%) потребуется 1200 посетителей на вариант — тест продлится 4.8 месяца. Решение:

• Используйте разностный тест (paired design), если можно показывать разные варианты одному пользователю
• Либо примените байесовские методы с априорными убеждениями — они требуют меньшей выборки
• Или отложите тест до достижения 2000+ посетителей/мес

Важно: если эффект большой (>10% относительного изменения), выборка будет меньше. Например, для роста конверсии с 10% до 20% нужно всего 300 посетителей на вариант.