A/B-тестирование: как провести тест от гипотезы до решения
Пошаговый A/B-тест на учебной игре: гипотеза, метрика, MDE, сплит, D7 retention, интервал и решение. Где ломается сравнение и что проверить до раскатки.
Эксперименты и измерение
Как спроектировать A/B-тест, проверить данные и прочитать результат: от гипотезы и мощности до решения и раскатки.
A/B tests
DAU
D7
stickiness
качество трафика
С чего начать
Три материала, которые задают базу для остальных.
Материалы по теме
27 материалов
Результаты A/B-теста: как читать числа и принимать решение
Эффект, доверительный интервал, p-value, MDE и защитные метрики на двух экспериментах DragonKeep. Матрица решений и шаблон отчёта менеджеру.
Ошибки первого и второго рода в A/B-тесте: цена решения
Что такое α, β и мощность, как размер выборки меняет риск и почему p-value не доказывает отсутствие эффекта. Симуляция 1 000 экспериментов на данных DragonKeep.
Критерий Манна — Уитни: что проверяет в A/B-тесте
Критерий Манна — Уитни проверяет распределения, а не автоматически медианы. Расчёт U, t-теста Уэлча и бутстрепа на выручке A/B-теста с нулями.
A/A-тест: как проверить систему экспериментов до первого A/B
A/A-тест проверяет назначение, экспозиции и метрики до анализа эффекта. Учебный menu_color показывает SRM 54/46 при плане 50/50 и путь расследования.
Бутстреп в статистике: интервалы для метрик A/B-теста
Как построить процентильный бутстреп по пользователям: разница средней выручки, медиана и ARPPU на учебном A/B-тесте, код Python и ограничения метода.
Ratio-метрики в A/B-тесте: дельта-метод и кластеры
Как считать отношение сумм, дельта-метод, линеаризацию и бутстреп по пользователям. На сессиях учебного A/B-теста среднее пользовательских долей меняет знак.
Множественные сравнения в A/B: Бонферрони, Холм и FDR
Почему пять проверок дают ложные находки чаще одной, как работают Бонферрони, Холм и Бенджамини — Хохберг. Расчёт по пяти каналам учебного A/B-теста.
CUPED в A/B-тесте: когда снижение дисперсии работает
Формула CUPED, предэкспериментальная ковариата и выигрыш в точности на данных DragonKeep. Почему у новых игроков метода нет, а у старых выигрыш всего 0,11%.
Системы A/B-тестирования: из чего состоят и как выбрать платформу
Как устроена платформа A/B-тестов: назначение групп, флаги, экспозиции, метрики, SRM и реестр. Чек-лист выбора и разбор учебного сбоя 54/46.
Когда A/B-тест невозможен: квазиэксперименты и разность разностей
Разность разностей на учебном магазине Wave: mobile против desktop до и после редизайна, проверка предтрендов, расчёт −2,79 п.п. и границы вывода.
Почему A/B-тесту нельзя доверять: SRM, подглядывание и другие ошибки
Практический чеклист качества A/B-теста: как заметить перекос трафика, подглядывание в результаты, множественные проверки и поломку трекинга.