p-value простыми словами: что он показывает и чего не доказывает

Коротко

Как читать p-value, не превращая его в кнопку «запускать или не запускать»?

p-value — вероятность получить такой же или более экстремальный результат при условии, что нулевая гипотеза и модель расчёта верны. Маленькое значение говорит, что данные плохо согласуются с нулём. Оно не говорит, что эффект большой, что повторится завтра или что нулевая гипотеза наверняка ложна.

• Назови единицу наблюдения, период и правило включения до расчёта.
• Показывай оценку рядом с размером выборки, разбросом или интервалом.
• Отделяй наблюдение, гипотезу и решение: это три разных уровня уверенности.

Какой рабочий вопрос здесь решает статистика

В отчётах p-value часто становится единственным аргументом: меньше 0,05 — победа, больше — ничего не произошло. Такая схема скрывает размер эффекта, интервал, качество дизайна и стоимость ошибки. p-value отвечает на узкий вопрос о данных при нулевой гипотезе, а не о полезности фичи и не о вероятности того, что гипотеза истинна.

Для бизнеса p-value полезен как сигнал совместимости данных с нулём, но решение должно учитывать деньги, опыт пользователя и риск. Договоритесь, что в шаблоне эксперимента всегда есть estimate, interval, n, primary metric, guardrails и правило действия. Тогда статистика не превращается в спор о магическом числе.

Определение и расчёт

Перед тестом зафиксируй H0, основную метрику, направление, alpha, окно и план анализа. После расчёта покажи estimate, interval, n и p-value вместе. Если анализируешь несколько метрик или сегментов, укажи, какие проверки были первичными. Иначе читатель не поймёт, сколько возможностей было найти случайную «значимость».

Сначала ответь, какое решение нужно принять и какой минимальный эффект имеет смысл. Затем смотри на интервал и сравнение с MDE. Если p-value маленький, проверь размер и устойчивость эффекта. Если большой, не говори «эффекта нет»: скажи, что данных недостаточно, чтобы отличить эффект от нуля в заданном диапазоне.

Мини-кейс

На 100 миллионах наблюдений кнопка дала uplift +0,08 п.п. и p-value 0,001. Формально данные плохо согласуются с нулём, но эффект может быть меньше стоимости изменения и незаметен пользователю. В другом тесте на 400 пользователях uplift +8 п.п. с p-value 0,12 может быть важной гипотезой, которую пока не удалось точно оценить.

После первого расчёта не переходи сразу к выводу. Проверь, не меняется ли знак или размер результата при разумной альтернативе: другой горизонт, зрелая когорта, user-level агрегация, фиксированный mix или отдельный технический слой. Именно эта проверка отделяет устойчивый сигнал от удачного среза.

Пошаговый алгоритм

Сначала ответь, какое решение нужно принять и какой минимальный эффект имеет смысл. Затем смотри на интервал и сравнение с MDE. Если p-value маленький, проверь размер и устойчивость эффекта. Если большой, не говори «эффекта нет»: скажи, что данных недостаточно, чтобы отличить эффект от нуля в заданном диапазоне.

Возьми пять исторических A/B-тестов и перепиши выводы без слов «значимо/незначимо» в первой строке. Начни с размера эффекта, интервала и решения. Затем добавь p-value как описание совместимости с нулевой гипотезой. Это упражнение быстро показывает, где команда переоценивает один порог.

Если расчёт станет регулярным, вынеси его из ручной ячейки в понятный pipeline: входные данные, преобразования, проверки и результат должны быть видны отдельно. Тогда новый период можно пересчитать без копирования старого вывода и без риска незаметно поменять знаменатель.

• Зафиксируй baseline и правило сравнения до просмотра итоговой цифры.
• Проверь grain, пропуски, дубли, даты и зрелость результата.
• Разложи изменение по сегментам только после общей контрольной сверки.
• Запиши, какой факт изменит решение и кто отвечает за следующий шаг.

Где результат ломается

Подглядывание и остановка сразу после p<0,05 меняют вероятность ошибки. Перебор метрик и сегментов повышает шанс случайной находки. Тестирование после выбора «интересного» разреза создаёт post-hoc историю. И ещё: статистически значимый результат может быть следствием изменения логирования, SRM или неодинаковой зрелости пользователей.

Ограничение не делает анализ бесполезным. Оно сужает область, в которой вывод можно применять. Если измерение подходит только для активных пользователей, зрелых когорт или одного типа устройства, назови это прямо и не расширяй утверждение на всю базу.

Как интерпретировать без лишней уверенности

Вместо «p-value 0,03, значит фича успешна» напиши: «uplift +1,2 п.п., 95% CI [+0,1; +2,3], p=0,03; эффект пересекает минимально полезный порог только частично, поэтому запускаем ограниченный rollout и наблюдаем guardrails». Так p-value становится частью решения, а не заменой анализа.

Сильный вывод начинается с факта, продолжает его диапазоном и заканчивается действием. Формулировки «связано», «совместимо с», «не удалось отличить» и «следующий шаг» точнее, чем автоматические «улучшилось» или «эффекта нет».

Практика для аналитика

Возьми пять исторических A/B-тестов и перепиши выводы без слов «значимо/незначимо» в первой строке. Начни с размера эффекта, интервала и решения. Затем добавь p-value как описание совместимости с нулевой гипотезой. Это упражнение быстро показывает, где команда переоценивает один порог.

Сохрани не только финальную цифру, но и входной период, параметры расчёта, версию определения и контрольные сверки. Воспроизводимость особенно важна для метрик, которые попадут в статью, дашборд, A/B-тест или решение руководителя.

Как связать материал с соседними задачами

Статистический метод не живёт отдельно от предметной области. Один и тот же приём может понадобиться в продуктовой метрике, SQL-запросе, pandas-пайплайне, эксперименте или бизнес-отчёте. Поэтому после базового расчёта переходи к соседнему материалу, где тот же вопрос разобран на другом уровне.

Не добавляй все возможные разрезы сразу. Выбери следующий материал по решению: проверить данные, понять поведение пользователя, оценить эффект, построить график или подготовиться к разговору с командой.

Чеклист перед публикацией результата

Перед тем как отправить число в чат или на дашборд, пройди короткий чеклист. Его можно превратить в шаблон аналитической задачи и использовать повторно для разных метрик.

Если на один пункт нет ответа, не прячь пробел в подписи графика. Запиши его как ограничение и реши, блокирует ли он действие. Иногда правильный результат — не новая формула, а исправление события или уточнение бизнес-вопроса.

• Что является единицей наблюдения и почему?
• Какой знаменатель, период и timezone используются?
• Есть ли пропуски, дубли, неполный день или незрелая когорта?
• Какие сегменты и альтернативные baseline меняют интерпретацию?
• Каков размер эффекта, диапазон неопределённости и бизнес-порог?
• Какое действие следует из результата и когда его пересмотреть?

Вывод

Вместо «p-value 0,03, значит фича успешна» напиши: «uplift +1,2 п.п., 95% CI [+0,1; +2,3], p=0,03; эффект пересекает минимально полезный порог только частично, поэтому запускаем ограниченный rollout и наблюдаем guardrails». Так p-value становится частью решения, а не заменой анализа.

Статистика становится полезной не тогда, когда в отчёте появляется сложный термин. Она полезна, когда помогает уменьшить ошибку решения: заметить неправильный grain, не спутать календарный шум с ростом, не выдать корреляцию за причину и увидеть, что данных пока недостаточно. Держи этот порядок рядом с SQL, Python и дашбордом — и цифры будут работать как часть процесса.