Критерий хи-квадрат: как проверять связь категорий и конверсий

Коротко

Как проверить, связаны ли категория пользователя и факт целевого действия?

Тест сравнивает наблюдаемые частоты в таблице сопряжённости с ожидаемыми частотами при независимости признаков. Чем больше расхождение, тем меньше совместимость с независимостью. Для результата нужны p-value, размер эффекта, таблица долей и проверка ожидаемых частот. В маленьких ячейках может понадобиться Fisher exact test.

• Назови единицу наблюдения, период и правило включения до расчёта.
• Показывай оценку рядом с размером выборки, разбросом или интервалом.
• Отделяй наблюдение, гипотезу и решение: это три разных уровня уверенности.

Какой рабочий вопрос здесь решает статистика

В таблице можно увидеть, что конверсия отличается по платформам, каналам или тарифам. Но при малом числе наблюдений разница может быть случайной, а при огромной базе — статистически значимой и практически бесполезной. Критерий хи-квадрат помогает проверить связь категориальных признаков, но не объясняет её и не измеряет причинный эффект.

Хи-квадрат полезен для быстрой диагностики, когда нужно понять, где сосредоточена разница. Он не заменяет эксперимент, причинный анализ и бизнес-порог. Показывай команде таблицу долей и размер эффекта рядом с p-value — так числовой сигнал не будет выглядеть больше, чем он есть.

Определение и расчёт

Сформируй таблицу без смешения уровней: строки — канал, столбцы — outcome, одна единица — пользователь. Посчитай observed и expected counts. Затем добавь Cramér’s V или разницу долей, чтобы показать силу связи. Для множества категорий проверь, не превращается ли общий тест в повод для десятков post-hoc сравнений.

Начни с бизнес-вопроса и таблицы частот, а не с теста. Проверь полноту outcome, одинаковый период и независимость пользователя. После теста разложи связь на группы с наибольшим вкладом, но скорректируй множественные проверки. Сохрани ожидаемые частоты и размер эффекта рядом с выводом.

Мини-кейс

В мобильном onboarding конверсия в активацию равна 21% на iOS и 18% на Android. Хи-квадрат даёт маленький p-value из-за большой базы, но разница 3 п.п. может быть ниже порога продуктового решения. Нужно посмотреть доверительный интервал, версию приложения и конкретный экран, где расходятся пути.

После первого расчёта не переходи сразу к выводу. Проверь, не меняется ли знак или размер результата при разумной альтернативе: другой горизонт, зрелая когорта, user-level агрегация, фиксированный mix или отдельный технический слой. Именно эта проверка отделяет устойчивый сигнал от удачного среза.

Пошаговый алгоритм

Начни с бизнес-вопроса и таблицы частот, а не с теста. Проверь полноту outcome, одинаковый период и независимость пользователя. После теста разложи связь на группы с наибольшим вкладом, но скорректируй множественные проверки. Сохрани ожидаемые частоты и размер эффекта рядом с выводом.

Сделай три таблицы сопряжённости: канал × покупка, платформа × активация, тариф × возврат. Для каждой укажи n, доли, expected counts, p-value и effect size. Затем убери одну редкую категорию и сравни результат. Если вывод меняется, это важное ограничение, а не повод выбрать удобную версию.

Если расчёт станет регулярным, вынеси его из ручной ячейки в понятный pipeline: входные данные, преобразования, проверки и результат должны быть видны отдельно. Тогда новый период можно пересчитать без копирования старого вывода и без риска незаметно поменять знаменатель.

• Зафиксируй baseline и правило сравнения до просмотра итоговой цифры.
• Проверь grain, пропуски, дубли, даты и зрелость результата.
• Разложи изменение по сегментам только после общей контрольной сверки.
• Запиши, какой факт изменит решение и кто отвечает за следующий шаг.

Где результат ломается

Нельзя считать строки событий независимыми, если вопрос про пользователей. Нельзя трактовать связь платформы и конверсии как эффект платформы без эксперимента. Не используй chi-square, если ожидаемые частоты слишком малы. И не скрывай категорию «unknown»: она может быть связана с самим процессом сбора.

Ограничение не делает анализ бесполезным. Оно сужает область, в которой вывод можно применять. Если измерение подходит только для активных пользователей, зрелых когорт или одного типа устройства, назови это прямо и не расширяй утверждение на всю базу.

Как интерпретировать без лишней уверенности

Пример корректного вывода: «Платформа и activation связаны в наблюдательных данных, p<0,05; разница конверсий 3,0 п.п., 95% CI [1,4; 4,6]. Причина не доказана. Следующий шаг — проверить версию onboarding и провести контролируемое изменение на проблемном экране».

Сильный вывод начинается с факта, продолжает его диапазоном и заканчивается действием. Формулировки «связано», «совместимо с», «не удалось отличить» и «следующий шаг» точнее, чем автоматические «улучшилось» или «эффекта нет».

Практика для аналитика

Сделай три таблицы сопряжённости: канал × покупка, платформа × активация, тариф × возврат. Для каждой укажи n, доли, expected counts, p-value и effect size. Затем убери одну редкую категорию и сравни результат. Если вывод меняется, это важное ограничение, а не повод выбрать удобную версию.

Сохрани не только финальную цифру, но и входной период, параметры расчёта, версию определения и контрольные сверки. Воспроизводимость особенно важна для метрик, которые попадут в статью, дашборд, A/B-тест или решение руководителя.

Как связать материал с соседними задачами

Статистический метод не живёт отдельно от предметной области. Один и тот же приём может понадобиться в продуктовой метрике, SQL-запросе, pandas-пайплайне, эксперименте или бизнес-отчёте. Поэтому после базового расчёта переходи к соседнему материалу, где тот же вопрос разобран на другом уровне.

Не добавляй все возможные разрезы сразу. Выбери следующий материал по решению: проверить данные, понять поведение пользователя, оценить эффект, построить график или подготовиться к разговору с командой.

Чеклист перед публикацией результата

Перед тем как отправить число в чат или на дашборд, пройди короткий чеклист. Его можно превратить в шаблон аналитической задачи и использовать повторно для разных метрик.

Если на один пункт нет ответа, не прячь пробел в подписи графика. Запиши его как ограничение и реши, блокирует ли он действие. Иногда правильный результат — не новая формула, а исправление события или уточнение бизнес-вопроса.

• Что является единицей наблюдения и почему?
• Какой знаменатель, период и timezone используются?
• Есть ли пропуски, дубли, неполный день или незрелая когорта?
• Какие сегменты и альтернативные baseline меняют интерпретацию?
• Каков размер эффекта, диапазон неопределённости и бизнес-порог?
• Какое действие следует из результата и когда его пересмотреть?

Вывод

Пример корректного вывода: «Платформа и activation связаны в наблюдательных данных, p<0,05; разница конверсий 3,0 п.п., 95% CI [1,4; 4,6]. Причина не доказана. Следующий шаг — проверить версию onboarding и провести контролируемое изменение на проблемном экране».

Статистика становится полезной не тогда, когда в отчёте появляется сложный термин. Она полезна, когда помогает уменьшить ошибку решения: заметить неправильный grain, не спутать календарный шум с ростом, не выдать корреляцию за причину и увидеть, что данных пока недостаточно. Держи этот порядок рядом с SQL, Python и дашбордом — и цифры будут работать как часть процесса.