Статистическая мощность: как понять, почему тест не нашёл эффект

Коротко

Как отличить отсутствие эффекта от теста, которому не хватило данных?

Power = 1 − beta, где beta — вероятность ошибки второго рода для конкретного истинного эффекта. Она зависит от alpha, MDE, размера выборки, разброса и дизайна. Power нельзя назвать одной цифрой без контекста: тест может иметь 80% power для эффекта +5 п.п. и почти не иметь её для +0,5 п.п.

• Назови единицу наблюдения, период и правило включения до расчёта.
• Показывай оценку рядом с размером выборки, разбросом или интервалом.
• Отделяй наблюдение, гипотезу и решение: это три разных уровня уверенности.

Какой рабочий вопрос здесь решает статистика

Команда провела эксперимент, p-value оказался выше порога и написала «изменение не влияет». Но маленький тест может не увидеть даже полезный эффект. Power описывает вероятность обнаружить эффект заданного размера при выбранном дизайне. Это плановый параметр, а не магическая характеристика уже полученного результата.

Power переводит спор «мало данных или эффекта нет» в плановый разговор о цене информации. Если полезный эффект мал, команда должна заранее решить, стоит ли ждать. Если нет, это тоже решение: не проводить тест, изменить интервенцию или выбрать более чувствительную метрику.

Определение и расчёт

До запуска выбери primary metric, baseline, минимально полезный эффект, alpha, power и ожидаемую долю пользователей. Получишь целевой n или длительность. После теста не называй post-hoc power доказательством: лучше покажи confidence interval и диапазон эффектов, совместимый с данными. Если interval исключает полезный эффект, это уже сильнее обычного «не значимо».

Свяжи расчёт с реальным трафиком и зрелостью outcome. Учти sample ratio, потери пользователей и период, необходимый для D7 retention. Сделай sensitivity table для нескольких MDE. После запуска контролируй не «достигли ли 80%», а ширину интервала и возможность принять решение относительно порога.

Мини-кейс

Тест onboarding набрал 2 000 пользователей и получил uplift +1 п.п., но interval от −2 до +4 п.п. Данных мало, чтобы принять rollout или уверенно отказаться. Если бизнес-порог +3 п.п., нужно добрать выборку или завершить идею по заранее записанному правилу, а не выбирать интерпретацию по p-value.

После первого расчёта не переходи сразу к выводу. Проверь, не меняется ли знак или размер результата при разумной альтернативе: другой горизонт, зрелая когорта, user-level агрегация, фиксированный mix или отдельный технический слой. Именно эта проверка отделяет устойчивый сигнал от удачного среза.

Пошаговый алгоритм

Свяжи расчёт с реальным трафиком и зрелостью outcome. Учти sample ratio, потери пользователей и период, необходимый для D7 retention. Сделай sensitivity table для нескольких MDE. После запуска контролируй не «достигли ли 80%», а ширину интервала и возможность принять решение относительно порога.

Возьми одну метрику и составь sensitivity table для MDE 1, 2 и 3 п.п. при разных baseline. Добавь реальный дневной трафик, потери и нужный горизонт. Затем отметь, для каких эффектов тест способен принять решение, а для каких будет только собирать неопределённость.

Если расчёт станет регулярным, вынеси его из ручной ячейки в понятный pipeline: входные данные, преобразования, проверки и результат должны быть видны отдельно. Тогда новый период можно пересчитать без копирования старого вывода и без риска незаметно поменять знаменатель.

• Зафиксируй baseline и правило сравнения до просмотра итоговой цифры.
• Проверь grain, пропуски, дубли, даты и зрелость результата.
• Разложи изменение по сегментам только после общей контрольной сверки.
• Запиши, какой факт изменит решение и кто отвечает за следующий шаг.

Где результат ломается

Не увеличивай выборку бесконечно после просмотра результата без обновления плана. Не выбирай MDE как минимальное число, которое выглядит красиво. Не считай power по событиям, если рандомизация была по users. И не путай высокий power с отсутствием bias: мощный смещённый тест всё равно даёт плохой ответ.

Ограничение не делает анализ бесполезным. Оно сужает область, в которой вывод можно применять. Если измерение подходит только для активных пользователей, зрелых когорт или одного типа устройства, назови это прямо и не расширяй утверждение на всю базу.

Как интерпретировать без лишней уверенности

Напиши: «Тест имел 80% power для эффекта +3 п.п.; оценка +0,8 п.п., 95% CI [−1,4; +3,0]. Данные исключают большой рост не полностью, но не показывают устойчивого эффекта. Приоритет — не продлевать без плана, а решить, стоит ли стоимость добора ради диапазона, который ещё может быть полезен».

Сильный вывод начинается с факта, продолжает его диапазоном и заканчивается действием. Формулировки «связано», «совместимо с», «не удалось отличить» и «следующий шаг» точнее, чем автоматические «улучшилось» или «эффекта нет».

Практика для аналитика

Возьми одну метрику и составь sensitivity table для MDE 1, 2 и 3 п.п. при разных baseline. Добавь реальный дневной трафик, потери и нужный горизонт. Затем отметь, для каких эффектов тест способен принять решение, а для каких будет только собирать неопределённость.

Сохрани не только финальную цифру, но и входной период, параметры расчёта, версию определения и контрольные сверки. Воспроизводимость особенно важна для метрик, которые попадут в статью, дашборд, A/B-тест или решение руководителя.

Как связать материал с соседними задачами

Статистический метод не живёт отдельно от предметной области. Один и тот же приём может понадобиться в продуктовой метрике, SQL-запросе, pandas-пайплайне, эксперименте или бизнес-отчёте. Поэтому после базового расчёта переходи к соседнему материалу, где тот же вопрос разобран на другом уровне.

Не добавляй все возможные разрезы сразу. Выбери следующий материал по решению: проверить данные, понять поведение пользователя, оценить эффект, построить график или подготовиться к разговору с командой.

Чеклист перед публикацией результата

Перед тем как отправить число в чат или на дашборд, пройди короткий чеклист. Его можно превратить в шаблон аналитической задачи и использовать повторно для разных метрик.

Если на один пункт нет ответа, не прячь пробел в подписи графика. Запиши его как ограничение и реши, блокирует ли он действие. Иногда правильный результат — не новая формула, а исправление события или уточнение бизнес-вопроса.

• Что является единицей наблюдения и почему?
• Какой знаменатель, период и timezone используются?
• Есть ли пропуски, дубли, неполный день или незрелая когорта?
• Какие сегменты и альтернативные baseline меняют интерпретацию?
• Каков размер эффекта, диапазон неопределённости и бизнес-порог?
• Какое действие следует из результата и когда его пересмотреть?

Вывод

Напиши: «Тест имел 80% power для эффекта +3 п.п.; оценка +0,8 п.п., 95% CI [−1,4; +3,0]. Данные исключают большой рост не полностью, но не показывают устойчивого эффекта. Приоритет — не продлевать без плана, а решить, стоит ли стоимость добора ради диапазона, который ещё может быть полезен».

Статистика становится полезной не тогда, когда в отчёте появляется сложный термин. Она полезна, когда помогает уменьшить ошибку решения: заметить неправильный grain, не спутать календарный шум с ростом, не выдать корреляцию за причину и увидеть, что данных пока недостаточно. Держи этот порядок рядом с SQL, Python и дашбордом — и цифры будут работать как часть процесса.