Основная метрика и guardrail в A/B-тесте: что считать успехом

Коротко

Primary metric — главный показатель, по которому принимают решение по гипотезе. Secondary metrics помогают понять механизм. Guardrails защищают продукт от побочных эффектов: их не обязательно улучшать, но нельзя ухудшать сильнее заранее заданного порога.

• Выбирай primary metric ближе к пользовательской или бизнес-ценности, а не к самому частому клику.
• Guardrail должен быть связан с реальным риском изменения и иметь понятный порог.
• Не превращай двадцать показателей в двадцать основных метрик.
• Фиксируй направление и окно расчёта до запуска.

Три слоя метрик

Удобно разделить показатели на три слоя. Primary отвечает, достигнута ли цель гипотезы. Secondary показывает, почему результат мог появиться: например, больше людей начали onboarding и быстрее дошли до первого отчёта. Guardrails ловят цену изменения: ошибки, возвраты, отписки или нагрузку на поддержку.

Как выбрать primary metric

Начни с решения, которое должна поддержать гипотеза. Если изменение обещает уменьшить friction в checkout, primary — успешная оплата среди пользователей, которые начали checkout, а не количество кликов по кнопке. Если меняется onboarding для B2B, может быть честнее смотреть создание первого рабочего объекта в течение семи дней, а не открытие подсказки.

Метрика должна быть чувствительной к изменению, но не настолько близкой к интерфейсу, чтобы её можно было улучшить без реальной ценности. Проверь также задержку: показатель, который созревает через месяц, может быть плохим единственным primary для короткого цикла.

• Назови единицу анализа: пользователь, аккаунт, заказ или сессия.
• Опиши знаменатель одним предложением.
• Зафиксируй окно: в той же сессии, 24 часа, 7 дней или другой срок.
• Проверь, что изменение действительно может повлиять на метрику.

Guardrail должен защищать, а не пугать

Если добавить в guardrails весь дашборд, команда никогда не сможет принять решение: любой шум будет выглядеть как риск. Оставь показатели, на которые изменение действительно может повлиять и которые нельзя пропустить. Для checkout это ошибки и возвраты; для push — отписки и жалобы; для поиска — время ответа и нулевая выдача.

Как принять решение по набору метрик

Перед запуском напиши короткое правило. Например: “Релизуем, если primary вырос не меньше чем на 1 п.п., 95%-й интервал не пересекает ноль, а refund rate не увеличился более чем на 0,5 п.п. Secondary используем для диагностики, но не меняем ими критерий после просмотра результата”. Такое правило снимает спор о том, какая цифра сегодня важнее.