Статистика для аналитика с нуля: как читать данные и не делать лишних выводов

Вопрос до формулы

В работе аналитика статистика редко выглядит как учебная задача с одной правильной формулой. Есть выборка пользователей, неполные дни, смещение каналов, несколько сегментов и решение, которое нужно принять до идеальной определённости. Поэтому первый навык — не считать быстрее, а понимать, что именно измерено и насколько результат устойчив.

В обсуждении с командой статистика нужна не для демонстрации сложных терминов. Она помогает ответить на три практических вопроса: насколько велик сигнал, насколько он устойчив и какое решение можно принять сейчас. Если данных недостаточно, это тоже результат: он подсказывает, какой лог или эксперимент нужен дальше.

Что именно измеряем

Любое число нужно читать вместе с контекстом: кто попал в выборку, за какой период, с каким определением события и относительно какого сравнения. Среднее без распределения может скрыть хвост, uplift без интервала — случайный шум, а корреляция — общую причину, которая влияет на обе величины.

Начинай с единицы наблюдения и целевой величины. Пользователь, заказ, сессия и событие дают разные знаменатели. Затем опиши период, фильтры и правило агрегации. Только после этого выбирай среднее, медиану, долю, интервал или тест. Такой порядок экономит время: большая часть ошибок появляется до вычисления статистики.

Расчёт на примере

Команда видит, что среднее время до первой покупки выросло с 2,1 до 2,8 дня. Это может быть ухудшением onboarding, но также изменением состава трафика: в новом месяце пришло больше пользователей с длинным циклом сделки. Медиана, квантили и разрез по каналу покажут, выросло ли время у большинства или только у длинного хвоста.

Практический маршрут выглядит так: зафиксировать вопрос, определить популяцию, построить распределение, посчитать базовую оценку, обозначить неопределённость, сравнить сегменты и сформулировать решение. Если решение дорогое, добавь проверку устойчивости: другой период, winsorization, bootstrap или альтернативное определение метрики.

Проверка устойчивости

До интерпретации проверь единицу наблюдения, период и правило включения. Затем пересчитай результат на небольшой выборке, где ответ известен заранее, и сравни с разумной альтернативой: другим горизонтом, зрелой когортой или user-level агрегацией.

Если показатель станет регулярным, сохрани рядом входные параметры, контрольные сверки и версию определения. Это важнее дополнительного знака после запятой.

• Зафиксируй baseline до просмотра результата.
• Проверь пропуски, дубли и зрелость периода.
• Покажи размер выборки и диапазон неопределённости.

Ошибки интерпретации

Самая частая ошибка — говорить о причине после одного наблюдения. Ещё две: выбирать удобную агрегацию после просмотра результата и сравнивать незрелые когорты со зрелыми. Отдельно проверяй пропуски, дубли, сезонность, изменение трекинга и зависимость наблюдений: десять событий одного пользователя не равны десяти независимым пользователям.

Хороший вывод отделяет факт от объяснения. Сначала: «медианное время выросло, интервал наблюдения такой-то, изменение видно в трёх из четырёх сегментов». Затем: «гипотеза — новый канал привёл более сложную аудиторию; проверяем качество лида и первый экран». Такой текст полезнее, чем уверенное «onboarding сломан».

Практика

Возьми любую метрику из продукта и запиши её карточку: объект, событие, знаменатель, окно, сегменты, источник и ограничение. Затем построй пять чисел: count, mean, median, p25, p75. Если они сильно расходятся, не публикуй одно среднее без объяснения формы распределения.

• Сохрани период и параметры расчёта.
• Назови хотя бы один крайний случай.
• Сформулируй вывод отдельно от гипотезы о причине.

Решение для команды

Хороший вывод отделяет факт от объяснения. Сначала: «медианное время выросло, интервал наблюдения такой-то, изменение видно в трёх из четырёх сегментов». Затем: «гипотеза — новый канал привёл более сложную аудиторию; проверяем качество лида и первый экран». Такой текст полезнее, чем уверенное «onboarding сломан».

В обсуждении с командой статистика нужна не для демонстрации сложных терминов. Она помогает ответить на три практических вопроса: насколько велик сигнал, насколько он устойчив и какое решение можно принять сейчас. Если данных недостаточно, это тоже результат: он подсказывает, какой лог или эксперимент нужен дальше.