Значимость A/B-теста
Две группы, две конверсии — и ответ, можно ли считать разницу доказанной. С доверительным интервалом и разбором того, что p-value на самом деле говорит.
Разницу нельзя считать доказанной: при уровне 95% такое расхождение вполне могло возникнуть, даже если варианты одинаковы.
- 0,0769
- +2,50 п.п.
- +25,0%
от −0,27 до 5,27 п.п. · отрезок пересекает ноль
Как это считается
Считается двусторонний z-критерий для двух независимых долей. Он отвечает на один вопрос: часто ли расхождение такого размера возникало бы, если бы варианты на самом деле не отличались. Ответ и есть p-value.
Из этого следует, чего p-value не говорит. Это не вероятность того, что вариант лучше, и не вероятность ошибки. Значение 0,03 означает, что при полностью одинаковых вариантах такая или большая разница выпадала бы примерно в трёх случаях из ста, — а не что вариант лучше с вероятностью 97%.
Поэтому рядом стоит доверительный интервал: он показывает не «да или нет», а насколько велика разница может быть на самом деле. Пока отрезок накрывает ноль, данные одинаково допускают и прирост, и падение — сколь бы внушительным ни выглядел процент.
Стандартная ошибка p-value берётся по объединённой доле, потому что проверяется гипотеза «разницы нет». Границы интервала считаются по раздельным долям: интервал описывает величину разницы, а не её отсутствие. Формулы часто путают, и тогда вывод перестаёт согласовываться с отрезком.
Нормальное приближение держится, пока в каждой из четырёх ячеек — конверсиях и отказах каждой группы — не меньше пяти наблюдений. На меньших числах калькулятор говорит об этом прямо, вместо того чтобы выдавать точную на вид цифру.