Корреляция и причинность: почему связанные метрики не доказывают причину

Коротко

Что нужно проверить, прежде чем сказать, что изменение X вызвало изменение Y?

Корреляция описывает совместное изменение величин. Причинность требует контрфактического сравнения: что произошло бы с теми же пользователями, если бы X не было? Третья переменная, selection bias и обратная причинность могут создать сильную связь без эффекта. Корреляционный коэффициент также зависит от формы, выбросов и диапазона данных.

• Назови единицу наблюдения, период и правило включения до расчёта.
• Показывай оценку рядом с размером выборки, разбросом или интервалом.
• Отделяй наблюдение, гипотезу и решение: это три разных уровня уверенности.

Какой рабочий вопрос здесь решает статистика

В продукте часто находят красивую связь: пользователи, включившие уведомления, удерживаются лучше; клиенты с отчётом покупают чаще; пользователи с быстрым onboarding остаются дольше. Но люди выбирают действия не случайно, а общий фактор может влиять и на X, и на Y. Корреляция помогает найти гипотезу, но не закрывает причинный вопрос.

Разговор о причинности полезен, когда команда собирается потратить бюджет или изменить продукт. Задача аналитика не запрещать выводы, а показать уровень доказательства и стоимость следующей проверки. Формулировка «сигнал есть, причина пока не доказана» часто спасает от преждевременного rollout.

Определение и расчёт

Сначала нарисуй связь и проверь единицу наблюдения. Затем добавь время: причина должна предшествовать эффекту. Сравни сегменты и baseline, проверь альтернативные объяснения. Если решение важное, используй рандомизированный эксперимент или квазиэкспериментальный дизайн. Регрессия может контролировать наблюдаемые факторы, но не превращает автоматически наблюдательные данные в эксперимент.

Запиши causal graph словами: X — изменение, Y — результат, Z — возможные причины и selection. Сформулируй, какое сравнение даст контрфактический baseline. Выбери primary metric и guardrails, назначь период и сегменты. После расчёта проверь баланс, время воздействия, spillover и альтернативные метрики.

Мини-кейс

Пользователи, прочитавшие справку, имеют D30 retention 32% против 18%. Возможно, справка помогает удержанию. Но более мотивированные пользователи сами чаще открывают справку и одновременно лучше удерживаются. Нужен тест с доступностью справки или другой дизайн, а не баннер с выводом «справка увеличивает retention на 14 п.п.»

После первого расчёта не переходи сразу к выводу. Проверь, не меняется ли знак или размер результата при разумной альтернативе: другой горизонт, зрелая когорта, user-level агрегация, фиксированный mix или отдельный технический слой. Именно эта проверка отделяет устойчивый сигнал от удачного среза.

Пошаговый алгоритм

Запиши causal graph словами: X — изменение, Y — результат, Z — возможные причины и selection. Сформулируй, какое сравнение даст контрфактический baseline. Выбери primary metric и guardrails, назначь период и сегменты. После расчёта проверь баланс, время воздействия, spillover и альтернативные метрики.

Для последнего аналитического наблюдения составь таблицу: X, Y, возможный Z, направление связи, что было до события и какой baseline нужен. Затем предложи один способ усилить доказательство. Даже если эксперимент невозможен, эта процедура отделяет наблюдение от гипотезы и делает следующий анализ конкретным.

Если расчёт станет регулярным, вынеси его из ручной ячейки в понятный pipeline: входные данные, преобразования, проверки и результат должны быть видны отдельно. Тогда новый период можно пересчитать без копирования старого вывода и без риска незаметно поменять знаменатель.

• Зафиксируй baseline и правило сравнения до просмотра итоговой цифры.
• Проверь grain, пропуски, дубли, даты и зрелость результата.
• Разложи изменение по сегментам только после общей контрольной сверки.
• Запиши, какой факт изменит решение и кто отвечает за следующий шаг.

Где результат ломается

Не путай temporal order с причинностью: то, что X было раньше Y, ещё не доказывает эффект. Не контролируй пост-тритмент переменную, если она сама является частью пути воздействия. Не называй причинным выводом результат до проверки случайности, пропусков, attrition и множественных сравнений. И не подменяй размер эффекта его статистической значимостью.

Ограничение не делает анализ бесполезным. Оно сужает область, в которой вывод можно применять. Если измерение подходит только для активных пользователей, зрелых когорт или одного типа устройства, назови это прямо и не расширяй утверждение на всю базу.

Как интерпретировать без лишней уверенности

Без эксперимента безопасно написать: «активация справки связана с более высоким D30 retention; вероятно, здесь есть различия в мотивации. Следующий шаг — рандомизированно показать справку части новых пользователей». С экспериментом можно говорить о причинном эффекте, но только после проверки качества сплита и guardrails.

Сильный вывод начинается с факта, продолжает его диапазоном и заканчивается действием. Формулировки «связано», «совместимо с», «не удалось отличить» и «следующий шаг» точнее, чем автоматические «улучшилось» или «эффекта нет».

Практика для аналитика

Для последнего аналитического наблюдения составь таблицу: X, Y, возможный Z, направление связи, что было до события и какой baseline нужен. Затем предложи один способ усилить доказательство. Даже если эксперимент невозможен, эта процедура отделяет наблюдение от гипотезы и делает следующий анализ конкретным.

Сохрани не только финальную цифру, но и входной период, параметры расчёта, версию определения и контрольные сверки. Воспроизводимость особенно важна для метрик, которые попадут в статью, дашборд, A/B-тест или решение руководителя.

Как связать материал с соседними задачами

Статистический метод не живёт отдельно от предметной области. Один и тот же приём может понадобиться в продуктовой метрике, SQL-запросе, pandas-пайплайне, эксперименте или бизнес-отчёте. Поэтому после базового расчёта переходи к соседнему материалу, где тот же вопрос разобран на другом уровне.

Не добавляй все возможные разрезы сразу. Выбери следующий материал по решению: проверить данные, понять поведение пользователя, оценить эффект, построить график или подготовиться к разговору с командой.

Чеклист перед публикацией результата

Перед тем как отправить число в чат или на дашборд, пройди короткий чеклист. Его можно превратить в шаблон аналитической задачи и использовать повторно для разных метрик.

Если на один пункт нет ответа, не прячь пробел в подписи графика. Запиши его как ограничение и реши, блокирует ли он действие. Иногда правильный результат — не новая формула, а исправление события или уточнение бизнес-вопроса.

• Что является единицей наблюдения и почему?
• Какой знаменатель, период и timezone используются?
• Есть ли пропуски, дубли, неполный день или незрелая когорта?
• Какие сегменты и альтернативные baseline меняют интерпретацию?
• Каков размер эффекта, диапазон неопределённости и бизнес-порог?
• Какое действие следует из результата и когда его пересмотреть?

Вывод

Без эксперимента безопасно написать: «активация справки связана с более высоким D30 retention; вероятно, здесь есть различия в мотивации. Следующий шаг — рандомизированно показать справку части новых пользователей». С экспериментом можно говорить о причинном эффекте, но только после проверки качества сплита и guardrails.

Статистика становится полезной не тогда, когда в отчёте появляется сложный термин. Она полезна, когда помогает уменьшить ошибку решения: заметить неправильный grain, не спутать календарный шум с ростом, не выдать корреляцию за причину и увидеть, что данных пока недостаточно. Держи этот порядок рядом с SQL, Python и дашбордом — и цифры будут работать как часть процесса.