Парадокс Симпсона: как общий рост превращается в падение по сегментам

Ситуация из отчёта

Общий показатель смешивает размер и качество сегментов. Если выросла доля сильного канала, агрегированная конверсия может улучшиться даже при падении внутри каждого канала. Обратная ситуация тоже возможна. Это не математический курьёз, а реальный риск для маркетинга, A/B-тестов, качества клиентов и финансовых отчётов.

Парадокс Симпсона полезно разбирать на реальной таблице, а не только на формуле. Он приучает команду спрашивать «какие веса изменились?» до обсуждения причины. Для бизнеса это особенно важно в маркетинге и продажах, где микс клиентов меняется быстрее, чем продукт.

Статистическая модель

Парадокс возникает, когда отношение сумм отличается от среднего или отношения внутри групп из-за изменения весов. Важны и числители, и знаменатели. Простая таблица по сегментам часто показывает, что общий uplift объясняется mix. Для причинного вывода дополнительно нужны сопоставимые группы и дизайн сравнения.

Сначала вычисли общий numerator/denominator и метрику по сегментам. Затем сравни размеры сегментов между периодами или вариантами. Не усредняй конверсии без весов. Зафиксируй, какая популяция является estimand: текущий mix, фиксированный mix или эффект внутри сегмента. Если ответ зависит от выбора, показывай оба сценария.

Разбор чисел

В прошлом месяце канал A дал 10% конверсии на 900 пользователях, B — 40% на 100. В этом месяце A 9% на 100, B 35% на 900. Общая конверсия выросла из-за mix, хотя каждый канал ухудшился. Решение «увеличить бюджет» без декомпозиции закрепит плохое качество внутри обоих каналов.

Собери pivot с n, conversions и rate по периоду и сегменту. Введи фиксированный reference mix и пересчитай общую метрику на одинаковых весах. Если это эксперимент, проверь баланс сегментов и treatment effect heterogeneity. Для презентации показывай общий итог рядом с сегментами, а не на следующем слайде.

Что проверить в данных

До интерпретации проверь единицу наблюдения, период и правило включения. Затем пересчитай результат на небольшой выборке, где ответ известен заранее, и сравни с разумной альтернативой: другим горизонтом, зрелой когортой или user-level агрегацией.

Если показатель станет регулярным, сохрани рядом входные параметры, контрольные сверки и версию определения. Это важнее дополнительного знака после запятой.

• Зафиксируй baseline до просмотра результата.
• Проверь пропуски, дубли и зрелость периода.
• Покажи размер выборки и диапазон неопределённости.

Границы вывода

Не ищи сегменты только после того, как увидел парадокс: зафиксируй ключевые разрезы заранее и отделяй exploratory. Не выбирай самый удобный вес. Не путай mix effect с эффектом продукта. И не дроби данные до сегментов, где оценка становится нестабильной и случайная разница выглядит как закономерность.

Хороший вывод: «Общая конверсия выросла с 13% до 32% из-за увеличения доли канала B. Внутри A показатель снизился с 10% до 9%, внутри B — с 40% до 35%. Улучшение общей метрики не является доказательством роста качества каналов; проверяем mix и закупку трафика».

Самостоятельный расчёт

Найди метрику, которая изменилась за месяц, и пересчитай её на фиксированном mix сегментов. Сравни с текущим агрегатом. Если знак изменения отличается, добавь в отчёт отдельную строку mix effect. Это быстрый способ не путать изменение состава аудитории с изменением поведения.

• Сохрани период и параметры расчёта.
• Назови хотя бы один крайний случай.
• Сформулируй вывод отдельно от гипотезы о причине.

Как сообщить результат

Хороший вывод: «Общая конверсия выросла с 13% до 32% из-за увеличения доли канала B. Внутри A показатель снизился с 10% до 9%, внутри B — с 40% до 35%. Улучшение общей метрики не является доказательством роста качества каналов; проверяем mix и закупку трафика».

Парадокс Симпсона полезно разбирать на реальной таблице, а не только на формуле. Он приучает команду спрашивать «какие веса изменились?» до обсуждения причины. Для бизнеса это особенно важно в маркетинге и продажах, где микс клиентов меняется быстрее, чем продукт.