Калькулятор размера выборки для A/B-теста — сколько трафика нужно
Считает объём трафика на каждый вариант A/B-теста по базовой конверсии, MDE, значимости и мощности. Формула с подставленными числами прилагается.
Тест идёт вторую неделю. Вариант B впереди на полпроцента, рука тянется объявить победителя, а разница может быть шумом. Пока не посчитан нужный объём трафика, остановка теста остаётся догадкой.
Поля выше закрывают вопрос заранее. Вводите текущую конверсию и прирост, который хотите поймать: калькулятор покажет, сколько посетителей собрать на вариант и сколько всего.
Когда стоит посчитать выборку
Вы планируете сплит-тест и прикидываете, потянет ли страница столько трафика. Или нужно назвать срок руководителю, а не отвечать «посмотрим по ходу». Бывает и обиднее: тест уже крутится, а команда спорит, пора останавливать или рано. Расчётный объём превращает спор в арифметику.
Что вписать в поля
Базовая конверсия в процентах. Берите ту, что сейчас на контрольном варианте.
Минимально детектируемый эффект: прирост, ради которого вы затеваете тест. Рядом переключатель формата. Абсолютный считает в процентных пунктах: с 5% до 6% это 1 п.п. Относительный берёт долю от базовой: те же 5% плюс 20% дают 6%.
Дальше три параметра строгости. Уровень значимости: 95% или 99%. Мощность: 80% или 90%, то есть шанс заметить реальный эффект, если он есть. Гипотеза: двусторонняя или односторонняя. Одностороннюю выбирают, когда проверяют только рост.
Что делать с результатом
Калькулятор возвращает пять чисел. «На вариант» и «Всего» складываются в план по трафику. «Целевая конверсия» показывает, куда должен дойти вариант B. Два значения z объясняют, откуда взялась цифра: одно отвечает за значимость, второе за мощность. Ниже раскрывается формула с подставленными значениями: n = (z_α + z_β)² × [p1(1−p1) + p2(1−p2)] / (p2 − p1)². Её удобно перенести в отчёт, когда расчёт приходится защищать.
А теперь арифметика. Поделите «Всего» на дневной трафик страницы и получите срок теста в днях. Вышло четыре месяца? В таком виде запускать бессмысленно. Поднимайте MDE или ищите более частое событие.
О чём помнить до запуска
- Чем мельче эффект вы ловите, тем больше нужно трафика. Маленькую разницу трудно отличить от случайных колебаний.
- Мощность 90% строже, чем 80%, и требует большей выборки.
- Калькулятор считает два варианта и одну целевую метрику. Для мультивариантных тестов числа будут другими.
- Не останавливайте тест раньше расчётного объёма. Ранняя остановка даёт красивый прирост, которого нет.
- Данные никуда не уходят, всё считается у вас в браузере. Чтобы поля ожили, отметьте согласие над калькулятором.
Посчитайте выборку до старта. Дальше останется набрать трафик и не торопиться с выводами.
Частые вопросы
Абсолютный или относительный MDE — что выбрать?
Абсолютный — это прирост в процентных пунктах (с 5% до 6% = 1 п.п.). Относительный — прирост в процентах от базовой (с 5% на +20% = 6%). Выбирайте формат, в котором вам привычнее ставить цель.
Что такое мощность 80% и 90%?
Мощность — вероятность заметить реальный эффект, если он есть. При 80% вы уловите эффект в 80 случаях из 100. Более высокая мощность требует большей выборки.
Почему для меньшего эффекта нужно больше трафика?
Маленькую разницу труднее отличить от случайного шума, поэтому чувствительность приходится повышать за счёт объёма выборки.