Калькулятор доверительного интервала
Насколько точна ваша цифра: интервал для конверсии или доли и для среднего. С привычной формулой рядом — чтобы было видно, где она ломается на малых выборках.
Считает интервал Уилсона для доли и интервал Стьюдента для среднего прямо в браузере.
Доля 8,00%. 95-процентный доверительный интервал — от 6,09% до 10,45%.
- 8,00%
- 6,09% — 10,45%
- 1,11 п.п.
Как это считается
Доверительный интервал показывает, насколько могла бы сдвинуться цифра, если бы вы собрали другую выборку того же размера. 95% относится к методу, а не к конкретному отрезку: если повторять исследование много раз, интервалы, построенные этим способом, накроют настоящее значение примерно в 95 случаях из 100.
Для доли калькулятор строит интервал Уилсона. Привычная формула p ± z·√(p(1−p)/n), интервал Вальда, стоит на оси рядом. На сотнях конверсий они почти совпадают. На малых числах и у краёв Вальд ломается: при трёх покупках из ста его нижняя граница уходит ниже нуля, а при нуле покупок интервал сжимается в точку, как будто ответ известен точно. Уилсон этих ошибок не делает, поэтому основной ответ — он.
Для среднего используется x̄ ± t·s/√n, где t берётся из распределения Стьюдента с n − 1 степенями свободы. На больших выборках t почти равно 1,96, на двадцати наблюдениях — уже 2,09, на пяти — 2,78. Если подставить 1,96 при малом n, интервал получится уже настоящего.
Интервал среднего опирается на центральную предельную теорему: при достаточно большом n выборочное среднее распределено почти нормально. Для скошенных метрик вроде выручки на пользователя «достаточно большое» может означать тысячи наблюдений. Если сомневаетесь, сравните ответ с бутстрепом.
Ширина интервала убывает как 1/√n: чтобы сузить его вдвое, нужно вчетверо больше наблюдений. Сколько именно, помогает прикинуть калькулятор размера выборки.