Критерий хи-квадрат: как проверять связь категорий и конверсий

Ситуация из отчёта

В таблице можно увидеть, что конверсия отличается по платформам, каналам или тарифам. Но при малом числе наблюдений разница может быть случайной, а при огромной базе — статистически значимой и практически бесполезной. Критерий хи-квадрат помогает проверить связь категориальных признаков, но не объясняет её и не измеряет причинный эффект.

Хи-квадрат полезен для быстрой диагностики, когда нужно понять, где сосредоточена разница. Он не заменяет эксперимент, причинный анализ и бизнес-порог. Показывай команде таблицу долей и размер эффекта рядом с p-value — так числовой сигнал не будет выглядеть больше, чем он есть.

Статистическая модель

Тест сравнивает наблюдаемые частоты в таблице сопряжённости с ожидаемыми частотами при независимости признаков. Чем больше расхождение, тем меньше совместимость с независимостью. Для результата нужны p-value, размер эффекта, таблица долей и проверка ожидаемых частот. В маленьких ячейках может понадобиться Fisher exact test.

Сформируй таблицу без смешения уровней: строки — канал, столбцы — outcome, одна единица — пользователь. Посчитай observed и expected counts. Затем добавь Cramér’s V или разницу долей, чтобы показать силу связи. Для множества категорий проверь, не превращается ли общий тест в повод для десятков post-hoc сравнений.

Разбор чисел

В мобильном onboarding конверсия в активацию равна 21% на iOS и 18% на Android. Хи-квадрат даёт маленький p-value из-за большой базы, но разница 3 п.п. может быть ниже порога продуктового решения. Нужно посмотреть доверительный интервал, версию приложения и конкретный экран, где расходятся пути.

Начни с бизнес-вопроса и таблицы частот, а не с теста. Проверь полноту outcome, одинаковый период и независимость пользователя. После теста разложи связь на группы с наибольшим вкладом, но скорректируй множественные проверки. Сохрани ожидаемые частоты и размер эффекта рядом с выводом.

Что проверить в данных

До интерпретации проверь единицу наблюдения, период и правило включения. Затем пересчитай результат на небольшой выборке, где ответ известен заранее, и сравни с разумной альтернативой: другим горизонтом, зрелой когортой или user-level агрегацией.

Если показатель станет регулярным, сохрани рядом входные параметры, контрольные сверки и версию определения. Это важнее дополнительного знака после запятой.

• Зафиксируй baseline до просмотра результата.
• Проверь пропуски, дубли и зрелость периода.
• Покажи размер выборки и диапазон неопределённости.

Границы вывода

Нельзя считать строки событий независимыми, если вопрос про пользователей. Нельзя трактовать связь платформы и конверсии как эффект платформы без эксперимента. Не используй chi-square, если ожидаемые частоты слишком малы. И не скрывай категорию «unknown»: она может быть связана с самим процессом сбора.

Пример корректного вывода: «Платформа и activation связаны в наблюдательных данных, p<0,05; разница конверсий 3,0 п.п., 95% CI [1,4; 4,6]. Причина не доказана. Следующий шаг — проверить версию onboarding и провести контролируемое изменение на проблемном экране».

Самостоятельный расчёт

Сделай три таблицы сопряжённости: канал × покупка, платформа × активация, тариф × возврат. Для каждой укажи n, доли, expected counts, p-value и effect size. Затем убери одну редкую категорию и сравни результат. Если вывод меняется, это важное ограничение, а не повод выбрать удобную версию.

• Сохрани период и параметры расчёта.
• Назови хотя бы один крайний случай.
• Сформулируй вывод отдельно от гипотезы о причине.

Как сообщить результат

Пример корректного вывода: «Платформа и activation связаны в наблюдательных данных, p<0,05; разница конверсий 3,0 п.п., 95% CI [1,4; 4,6]. Причина не доказана. Следующий шаг — проверить версию onboarding и провести контролируемое изменение на проблемном экране».

Хи-квадрат полезен для быстрой диагностики, когда нужно понять, где сосредоточена разница. Он не заменяет эксперимент, причинный анализ и бизнес-порог. Показывай команде таблицу долей и размер эффекта рядом с p-value — так числовой сигнал не будет выглядеть больше, чем он есть.