Доверительный интервал: как показывать неопределённость результата

Коротко

Как понять, насколько может колебаться оценка метрики из-за случайности выборки?

В классической интерпретации 95% доверительный интервал — это процедура, которая при многократном повторении даёт интервалы, содержащие истинный параметр примерно в 95% случаев. Не стоит говорить, что вероятность параметра в уже построенном интервале равна 95%. В прикладном языке можно сказать: оценка совместима с диапазоном от A до B при данном дизайне.

• Назови единицу наблюдения, период и правило включения до расчёта.
• Показывай оценку рядом с размером выборки, разбросом или интервалом.
• Отделяй наблюдение, гипотезу и решение: это три разных уровня уверенности.

Какой рабочий вопрос здесь решает статистика

Конверсия 4,2% выглядит точной, хотя в другой выборке из той же аудитории могла бы стать 3,8% или 4,7%. Интервал не делает результат слабее — он показывает диапазон правдоподобных значений при выбранном методе и допущениях. Без него небольшие изменения слишком легко превращаются в уверенные решения.

Интервалы полезны руководителю, потому что показывают диапазон риска. Для продукта это «эффект может быть от нулевого до достаточного», для операций — «обычная нагрузка находится здесь, но хвост выше», для финансов — «оценка выручки имеет диапазон». Такой язык помогает выбирать, когда ждать данных, а когда действовать.

Определение и расчёт

Метод зависит от величины: для доли нужна биномиальная модель или bootstrap, для среднего — t-интервал при подходящих допущениях, для разницы — интервал разницы, а не два отдельных интервала. Для ratio-метрик и конверсий обязательно проверяй знаменатель. В отчёте храни estimate, lower, upper, method и n.

Сначала выбери estimand: абсолютная разница, относительный uplift, среднее или квантиль. Затем зафиксируй единицу и горизонт, построь интервал согласованным методом и проверь чувствительность. Покажи baseline, n и интервал на одном графике. Если интервал пересекает бизнес-порог, сформулируй решение через риск, а не только через p-value.

Мини-кейс

В контрольной группе конверсия 8,1%, в тесте 8,7%, uplift 0,6 п.п. Но 95% интервал разницы от −0,3 до 1,5 п.п. Значения совместимы и с небольшим минусом, и с заметным плюсом. Решение не должно звучать как «тест точно дал рост», хотя точка оценки положительная.

После первого расчёта не переходи сразу к выводу. Проверь, не меняется ли знак или размер результата при разумной альтернативе: другой горизонт, зрелая когорта, user-level агрегация, фиксированный mix или отдельный технический слой. Именно эта проверка отделяет устойчивый сигнал от удачного среза.

Пошаговый алгоритм

Сначала выбери estimand: абсолютная разница, относительный uplift, среднее или квантиль. Затем зафиксируй единицу и горизонт, построь интервал согласованным методом и проверь чувствительность. Покажи baseline, n и интервал на одном графике. Если интервал пересекает бизнес-порог, сформулируй решение через риск, а не только через p-value.

Добавь интервал к последним пяти отчётам, где была опубликована одна точка. Посмотри, изменился ли язык выводов. Затем для одной метрики сравни normal, Wilson или bootstrap interval и объясни, почему методы дают разные границы. Сохраняй метод рядом с числом — иначе через месяц его будет невозможно восстановить.

Если расчёт станет регулярным, вынеси его из ручной ячейки в понятный pipeline: входные данные, преобразования, проверки и результат должны быть видны отдельно. Тогда новый период можно пересчитать без копирования старого вывода и без риска незаметно поменять знаменатель.

• Зафиксируй baseline и правило сравнения до просмотра итоговой цифры.
• Проверь grain, пропуски, дубли, даты и зрелость результата.
• Разложи изменение по сегментам только после общей контрольной сверки.
• Запиши, какой факт изменит решение и кто отвечает за следующий шаг.

Где результат ломается

Два перекрывающихся интервала не дают строгого теста разницы. Узкий интервал может быть смещённым, если выборка плохая. Большой n с микроскопическим эффектом не делает его полезным. И нельзя сравнивать интервалы, построенные на разных окнах или разных правилах зрелости когорты.

Ограничение не делает анализ бесполезным. Оно сужает область, в которой вывод можно применять. Если измерение подходит только для активных пользователей, зрелых когорт или одного типа устройства, назови это прямо и не расширяй утверждение на всю базу.

Как интерпретировать без лишней уверенности

Хороший вывод: «Оценка uplift +0,6 п.п.; 95% CI [−0,3; +1,5] п.п. Интервал пересекает ноль и минимально полезный эффект +1 п.п., поэтому rollout не ускоряем; добираем наблюдения и проверяем guardrails». Это сразу связывает статистику с решением.

Сильный вывод начинается с факта, продолжает его диапазоном и заканчивается действием. Формулировки «связано», «совместимо с», «не удалось отличить» и «следующий шаг» точнее, чем автоматические «улучшилось» или «эффекта нет».

Практика для аналитика

Добавь интервал к последним пяти отчётам, где была опубликована одна точка. Посмотри, изменился ли язык выводов. Затем для одной метрики сравни normal, Wilson или bootstrap interval и объясни, почему методы дают разные границы. Сохраняй метод рядом с числом — иначе через месяц его будет невозможно восстановить.

Сохрани не только финальную цифру, но и входной период, параметры расчёта, версию определения и контрольные сверки. Воспроизводимость особенно важна для метрик, которые попадут в статью, дашборд, A/B-тест или решение руководителя.

Как связать материал с соседними задачами

Статистический метод не живёт отдельно от предметной области. Один и тот же приём может понадобиться в продуктовой метрике, SQL-запросе, pandas-пайплайне, эксперименте или бизнес-отчёте. Поэтому после базового расчёта переходи к соседнему материалу, где тот же вопрос разобран на другом уровне.

Не добавляй все возможные разрезы сразу. Выбери следующий материал по решению: проверить данные, понять поведение пользователя, оценить эффект, построить график или подготовиться к разговору с командой.

Чеклист перед публикацией результата

Перед тем как отправить число в чат или на дашборд, пройди короткий чеклист. Его можно превратить в шаблон аналитической задачи и использовать повторно для разных метрик.

Если на один пункт нет ответа, не прячь пробел в подписи графика. Запиши его как ограничение и реши, блокирует ли он действие. Иногда правильный результат — не новая формула, а исправление события или уточнение бизнес-вопроса.

• Что является единицей наблюдения и почему?
• Какой знаменатель, период и timezone используются?
• Есть ли пропуски, дубли, неполный день или незрелая когорта?
• Какие сегменты и альтернативные baseline меняют интерпретацию?
• Каков размер эффекта, диапазон неопределённости и бизнес-порог?
• Какое действие следует из результата и когда его пересмотреть?

Вывод

Хороший вывод: «Оценка uplift +0,6 п.п.; 95% CI [−0,3; +1,5] п.п. Интервал пересекает ноль и минимально полезный эффект +1 п.п., поэтому rollout не ускоряем; добираем наблюдения и проверяем guardrails». Это сразу связывает статистику с решением.

Статистика становится полезной не тогда, когда в отчёте появляется сложный термин. Она полезна, когда помогает уменьшить ошибку решения: заметить неправильный grain, не спутать календарный шум с ростом, не выдать корреляцию за причину и увидеть, что данных пока недостаточно. Держи этот порядок рядом с SQL, Python и дашбордом — и цифры будут работать как часть процесса.