MDE и размер выборки: как понять, хватит ли данных для A/B-теста

Коротко

MDE, или minimum detectable effect, — минимальный эффект, который тест спроектирован заметить при заданных базовой метрике, мощности и уровне значимости. Чем меньше MDE, тем больше нужна выборка. Это не прогноз фактического uplift и не обещание, что вариант даст именно такой рост.

• Сначала оцени базовую конверсию и полезный для бизнеса эффект.
• Зафиксируй alpha и power до запуска, а не после просмотра данных.
• Проверь, сколько пользователей реально будет экспонировано в каждой группе.
• Учитывай сезонный цикл и задержку целевого события при расчёте длительности.

MDE начинается с решения, а не с калькулятора

Если checkout приносит 100 заказов в день, рост на 0,1 п.п. может быть статистически обнаружим только на очень большой аудитории и не окупить стоимость изменений. Если ошибка в оплате стоит бизнесу тысячи заказов, даже небольшой эффект может быть важен. Поэтому MDE лучше связывать с решением: какой результат меняет план действий.

От чего зависит размер выборки

На размер выборки влияют базовый уровень метрики, MDE, alpha, power и тип метрики. Для конверсии важна исходная доля: обнаружить рост с 10% до 11% и с 1% до 2% — не одна и та же статистическая задача, даже если абсолютная разница равна одному процентному пункту.

Интуитивно правило простое: маленький эффект тонет в шуме сильнее, поэтому ему нужно больше наблюдений. Если увеличить требуемую мощность или снизить допустимый уровень ложных срабатываний, выборка тоже вырастет.

Как перевести выборку в длительность

Если нужно 12 тысяч пользователей на группу, а в эксперимент ежедневно попадает 1 000 новых пользователей, минимальная длительность — около 24 дней при распределении 50/50. Но это только оценка потока. Добавь время на завершение целевого действия, полный недельный цикл и возможные провалы трафика.

Не сокращай тест до нескольких часов, если покупка или возврат происходят в течение нескольких дней. Иначе в ранний результат попадут пользователи с быстрым поведением, а поздние конверсии останутся за пределами окна.

• Нужная выборка на группу ÷ ежедневный приток в эксперимент ÷ доля трафика на тест.
• Добавь хотя бы один полный недельный цикл, если поведение меняется по дням недели.
• Для отложенных событий задай окно конверсии и дождись его закрытия для последней когорты.
• Не увеличивай долю трафика только потому, что первые дни выглядят нейтрально.

Что делать, если трафика не хватает

Маленькая аудитория не делает эксперимент невозможным, но ограничивает вывод. Можно тестировать более крупные изменения, выбрать более частую прокси-метрику с guardrail, продлить сбор данных или использовать качественное исследование для ранней проверки идеи. Нельзя честно решить проблему, просто назвав широкий интервал “почти значимым”.

Если фактический поток сильно меньше плана, зафиксируй это как ограничение. Тест мог не показать эффекта потому, что его не было, а мог не иметь мощности заметить реальный небольшой эффект.