Калькулятор MDE — минимально детектируемый эффект A/B-теста
Показывает наименьший прирост конверсии, который тест различит на вашем трафике. MDE в процентных пунктах и в процентах от базовой.
Трафика на сайте столько, сколько есть. Руководитель спрашивает, когда будут результаты теста, а вы уже прикидываете: за две недели наберётся немного визитов, и прирост в полпроцента в них просто утонет.
Тогда вопрос переворачивается. Не «сколько трафика нужно», а «что я вообще успею заметить». Поля выше считают именно это: наименьший прирост конверсии, который тест поймает на вашем объёме.
Когда MDE полезнее размера выборки
Расчёт выборки отвечает, сколько ждать. MDE отвечает, стоит ли вообще начинать. Разница становится принципиальной, когда трафик вы поменять не можете.
Ситуации типовые. Вам дали на тест две недели и не дадут больше. Страницу посещают редко, а гипотезу проверить надо. Или на руках десяток идей, и надо понять, какие из них на этом сайте проверяемы.
Что вводить
Сверху переключатель ввода трафика. В режиме «Посетителей на вариант» вы ставите готовое число. В режиме «Дневной трафик и срок» указываете общий трафик за день и длительность теста в днях, а калькулятор сам делит его на два варианта.
Дальше базовая конверсия в процентах: та, что сейчас на контроле. И три параметра строгости: значимость 95% или 99%, мощность 80% или 90%, гипотеза двусторонняя или односторонняя.
Как читать результат
Чисел четыре. «Выборка на вариант» подтверждает, с каким объёмом считали. «MDE, абсолютный» это прирост в процентных пунктах. «MDE, относительный» тот же прирост в процентах от базовой. «Детектируемая конверсия» показывает, куда должен дорасти вариант B, чтобы разницу стало видно.
Дальше сверяете MDE со своими ожиданиями. Ждёте от правки скромного прироста, а калькулятор выдал относительный MDE в десятки процентов? Тест на таком трафике ничего не докажет.
Большой MDE означает одно: чувствительности не хватает. Лечится двумя способами: тест удлиняют или дают ему больше трафика на вариант. Есть и третий ход, не из калькулятора: проверять изменение покрупнее.
О чём помнить
- Прирост меньше MDE тест, скорее всего, не заметит. Это не значит, что прироста нет: ваш объём данных его просто не различает.
- Мощность 90% и значимость 99% поднимают планку. На том же трафике MDE вырастет, и ловить придётся более крупную разницу.
- Формула тут обращённая: уравнение размера выборки решается в обратную сторону, итеративно.
- Считаются два варианта и одна метрика. Тест на пять вариантов даст другую картину.
- Всё считается у вас в браузере. Чтобы поля ожили, отметьте согласие над калькулятором.
Посчитайте MDE до запуска. Иногда самый полезный результат это решение не запускать тест вовсе.
Частые вопросы
Что такое MDE простыми словами?
Это минимальная разница между вариантами, которую ваш тест способен отличить от случайности. Если реальный прирост меньше MDE, тест его, скорее всего, не заметит.
Как задать трафик — числом или через срок?
Можно ввести готовое число посетителей на вариант, либо указать общий дневной трафик и длительность теста в днях — калькулятор сам разделит трафик на два варианта.
Что делать, если MDE слишком большой?
Большой MDE означает, что трафика мало и мелкий прирост вы не поймаете. Увеличьте длительность теста или объём выборки, чтобы повысить чувствительность.