Калькулятор значимости A/B-теста онлайн — z-тест, p-value, доверительный интервал
Четыре числа по двум вариантам и уровень доверия: конверсии, прирост, z-оценка, p-значение и доверительные интервалы Уилсона для каждой группы.
Вариант B дал 7% конверсии, вариант A пять. В отчёте это выглядит как победа. Через неделю разница иногда испаряется, потому что на маленьких числах случайность шумит громче любого оффера.
Калькулятор выше отвечает на один вопрос: разница настоящая или пока похожа на шум. Нужны четыре числа.
Когда пригодится
- Тест лендинга, письма или заголовка объявления закончился, и пора решать, катить ли победителя на весь трафик.
- Подрядчик прислал отчёт со словом «выиграл»: проверить это самому занимает минуту.
- Тест ещё идёт, и вы прикидываете, сколько трафика собирать дальше.
Что вводить и что получится
По каждому варианту два числа: сколько было посетителей и сколько из них сконвертировалось. Ниже уровень доверия, по умолчанию 95%. Девяносто смягчает порог, девяносто девять ужесточает и потребует заметно больше данных.
В ответ появятся конверсия каждой группы, прирост в процентах, z-оценка и двустороннее p-значение. Отдельной строкой стоит «да» или «нет» в графе значимости, а под результатами доверительные интервалы для каждой конверсии, посчитанные методом Уилсона.
Как читать вердикт
Зелёная плашка означает, что B значимо лучше A. Красная говорит обратное: вариант B хуже, и катить его не надо. Жёлтая означает, что разницы пока не видно и стоит собрать ещё данных.
Дальше посмотрите на интервалы. Сильно перекрываются? Значит, истинные конверсии вариантов ещё могут совпадать. И отдельно ловите предупреждение о маленькой группе: меньше сотни посетителей или меньше пяти конверсий, и любому вердикту верить рано.
О чём помнить
Значимость ничего не говорит о размере выигрыша. Она отвечает только на вопрос, случайна разница или нет. Прирост в два процента и прирост в сорок бывают одинаково значимыми, а денег приносят очень по-разному.
Заглядывать в тест каждый день и останавливать его в тот момент, когда p-значение первый раз нырнуло ниже порога, не стоит. Так ловится случайный всплеск, а не реальный эффект. Объём выборки лучше задать заранее и досидеть до него.
Наблюдения должны быть независимыми. Один человек, зашедший на страницу пять раз, это не пять посетителей, и группы придётся считать по уникальным пользователям.
Считает всё браузер, цифры никуда не уходят. Данные клиента можно вводить как есть, не пересчитывая их в «условные единицы».
Частые вопросы
Что значит «статистическая значимость»?
Это вероятность того, что наблюдаемая разница между вариантами не случайна. Если p-значение меньше выбранного порога (например, 0.05 при уровне доверия 95%), разницу считают значимой.
Почему тест говорит «данных недостаточно»?
Потому что при текущих числах разница может объясняться случайностью: p-значение выше порога. Продолжайте собирать трафик — с ростом выборки тест станет чувствительнее.
Мои данные куда-то передаются?
Нет. Все расчёты выполняются в вашем браузере на JavaScript, никакие цифры не уходят на сервер.