Что известно об экспериментах и моделях Airbnb, Booking, Spotify и Zillow — включая решения, которые стоили дорого.
Три материала, которые задают базу для остальных.
6 материалов
Разбор Google Flu Trends: как прокси-метрика из поисковых запросов разошлась с данными CDC, почему простой прогноз по старым официальным данным оказался точнее и какими проверками поймать такую же зависимость метрики от собственного интерфейса.
Почему прогноз цены жилья у Zillow превратился в убыток на каждой сделке: разница между точностью на истории и поведением при смене рынка, отбор принятых офферов, лаг обратной связи и границы для модели, которая тратит деньги.
Spotify сделала из A/B-теста элемент инфраструктуры: словарь метрик, exposure вместо назначения, guardrail по умолчанию, разведение тестов, проверка сплита. Разбираем механизм и минимальный контур для небольшой команды.
Spotify публично считает learning rate 64% при win rate 12%: как устроен их критерий «эксперимент с обучением», почему нейтральный тест без мощности не считается знанием и что записать в карточку до старта, чтобы отрицательный результат стал решением.
Как устроена культура A/B-тестов Booking.com и какая у масштаба обратная сторона: множественные сравнения, эффект новизны, пересечение тестов и локальная оптимизация одного экрана. Что из этого переносится в команду на 3–10 тестов в квартал.
Интерференция между вариантами в маркетплейсе: как перетекание спроса, длинный цикл решения и реакция предложения искажают A/B-тест, и какими проверками это видно на своих данных.