Байесовская статистика для аналитика: prior, posterior и решение при неполных данных
Введение в байесовский подход: prior, likelihood, posterior, credible interval и прогноз вероятности решения на примере конверсии и экспериментов.
Содержание статьи
Бизнес почти никогда не стартует с полного незнания: есть прошлые данные, исторический baseline, сезонность и ограничения. Байесовский подход позволяет формально объединить prior и новые наблюдения. Но это не способ получить любой желаемый вывод: prior должен быть прозрачен, а чувствительность к нему — проверена. Центральный вопрос материала: Как обновлять ожидание по мере появления данных и принимать решение до идеальной выборки?
Когда нужен этот метод
Бизнес почти никогда не стартует с полного незнания: есть прошлые данные, исторический baseline, сезонность и ограничения. Байесовский подход позволяет формально объединить prior и новые наблюдения. Но это не способ получить любой желаемый вывод: prior должен быть прозрачен, а чувствительность к нему — проверена.
Байесовский отчёт стоит вводить там, где решения принимаются последовательно и prior можно поддерживать. Для команды важнее не терминология, а ясные вероятности, порог действия и обновление по мере данных. Если prior спорный, показывай несколько сценариев, а не прячь выбор в библиотеке.
Как обновлять ожидание по мере появления данных и принимать решение до идеальной выборки?
Определения без жаргона
Prior описывает распределение параметра до новых данных, likelihood — насколько наблюдения согласуются с возможными значениями, posterior — обновлённое распределение после данных. Credible interval говорит о вероятностном диапазоне параметра в модели. Это отличается от классической интерпретации confidence interval и требует аккуратного языка.
Для конверсии удобен Beta-Binomial: Beta prior обновляется числом успехов и неуспехов. Сначала выбери prior и объясни, откуда он взялся. Затем посчитай posterior и вероятность, что uplift выше минимально полезного порога. Сравни слабый и информативный prior. Если решение меняется, это важная часть вывода.
P(θ | data) ∝ P(data | θ) × P(θ)Posterior обновляет prior наблюдениями через likelihood.
Рабочий кейс
Историческая конверсия checkout около 8%, а тестовая группа дала 8,5% на небольшой выборке. Posterior показывает высокую вероятность небольшого роста, но вероятность превысить business threshold 1 п.п. остаётся низкой. Команда может запустить только безопасный rollout, а не объявлять большую победу.
Сделай prior частью pre-analysis plan. Укажи baseline, effective sample size prior и чувствительность. Публикуй posterior mean/median, credible interval и вероятность события, связанного с решением. Не смешивай «вероятность эффекта» с вероятностью успешного бизнеса: guardrails и причинный дизайн остаются обязательными.
Условная схема: после данных распределение сужается и смещается к наблюдаемому сигналу.
Контрольная сверка
До интерпретации проверь единицу наблюдения, период и правило включения. Затем пересчитай результат на небольшой выборке, где ответ известен заранее, и сравни с разумной альтернативой: другим горизонтом, зрелой когортой или user-level агрегацией.
Если показатель станет регулярным, сохрани рядом входные параметры, контрольные сверки и версию определения. Это важнее дополнительного знака после запятой.
| Компонент | Пример | Проверка |
|---|---|---|
| Prior | Beta(8, 92) | источник и сила prior |
| Data | 85 успехов / 915 | зрелость и качество |
| Posterior | Beta(93, 1007) | метод обновления |
| Decision | P(uplift > 1 п.п.) | связь с порогом |
- Зафиксируй baseline до просмотра результата.
- Проверь пропуски, дубли и зрелость периода.
- Покажи размер выборки и диапазон неопределённости.
Когда метод подводит
Сильный prior может подавить реальный новый сигнал. Слабый prior не делает анализ нейтральным, если дизайн смещён. Нельзя выбрать prior после просмотра результата. Credible interval нельзя объяснять как confidence interval. И Bayesian update не превращает наблюдательное сравнение в причинный эксперимент.
Рабочая формулировка: «При выбранном слабом prior вероятность положительного uplift равна 91%, но вероятность превысить полезный порог +1 п.п. — 38%. Поэтому рекомендуем продолжить наблюдение и не расширять rollout за пределы безопасного сегмента». Это ближе к реальному решению, чем бинарное «значимо/нет».
Сначала сообщи, что видно в данных. Затем назови, что мешает сделать более сильный вывод. В конце предложи один проверяемый следующий шаг.
Попробуй сам
Возьми бинарную метрику и посчитай posterior для трёх prior: слабого, исторического и более уверенного. Сравни медиану, 95% credible interval и вероятность uplift выше порога. Затем напиши, какое решение меняется и почему. Такое упражнение делает влияние предположений видимым.
- Сохрани период и параметры расчёта.
- Назови хотя бы один крайний случай.
- Сформулируй вывод отдельно от гипотезы о причине.
Что делать дальше
Рабочая формулировка: «При выбранном слабом prior вероятность положительного uplift равна 91%, но вероятность превысить полезный порог +1 п.п. — 38%. Поэтому рекомендуем продолжить наблюдение и не расширять rollout за пределы безопасного сегмента». Это ближе к реальному решению, чем бинарное «значимо/нет».
Байесовский отчёт стоит вводить там, где решения принимаются последовательно и prior можно поддерживать. Для команды важнее не терминология, а ясные вероятности, порог действия и обновление по мере данных. Если prior спорный, показывай несколько сценариев, а не прячь выбор в библиотеке.
Материалы по теме
Метрики-ограничители: как не улучшить один показатель ценой другого
Как выбирать guardrail-метрики для продукта и эксперимента: latency, ошибки, возвраты, retention, качество трафика и правила остановки rollout.

MDE и размер выборки: как понять, хватит ли данных для A/B-теста
Что такое MDE, как он связан с размером выборки и длительностью эксперимента, почему маленький тест не может доказать большой продуктовый вывод.

Основная метрика и guardrail в A/B-тесте: что считать успехом
Как выбрать primary metric, вторичные показатели и guardrail-метрики для эксперимента, чтобы не объявить победу ценой ухудшения продукта.