002. Увеличение чувствительности в A/B с помощью Cuped — Валерий Бабушкин

• Валерий Бабушкин, директор по моделированию и анализу данных в X5 Retail Group.  

• Ранее работал в Яндексе, преподавал в ВШЭ и Нацбанке Казахстана.  

• Достижения в соревновательном машинном обучении на Kaggle.  

• Два основных подхода в тестировании: частотный и байесовский.  

• Частотный подход: формула для определения необходимого количества наблюдений.  

• Ограничения на количество данных и их влияние на результаты.  

• Стратификация как метод снижения дисперсии.  

• Примеры стратификации: по регионам, браузерам, операционным системам.  

• Формула для расчета среднего и дисперсии при стратификации.  

• Среднее значение случайного сэмплирования равно среднему значению.  

• Дисперсия случайного сэмплирования состоит из двух частей: внутри группы и между группами.  

• Стратификация снижает дисперсию случайного сэмплирования.  

• Примеры из реальной жизни, где стратификация снизила дисперсию на 1%.  

• Ссылки на статьи, подтверждающие теоретические выводы.  

• Прирост данных может быть маленьким из-за большого объема данных и низкой дисперсии между стратами.  

• Если данных мало или выборка не случайна, прирост может быть больше.  

• Метод прост в реализации: семплирование из каждой страты пропорционально вероятности попадания.  

• Используется случайная переменная X, независимая от Y.  

• Переменная X должна быть получена до начала эксперимента, чтобы избежать влияния эксперимента.  

• Новая метрика рассчитывается как разность Y и тета-X.  

• Формула для вычисления дисперсии разницы двух величин.  

• Ковариация между независимыми величинами равна нулю.  

• Минимизация дисперсии достигается при тета, равном ковариации между Y и X, деленной на дисперсию X.  

• Итоговая дисперсия представлена как дисперсия Y, умноженная на 1 минус корреляция в квадрате между Y и X.  

• Дисперсия Y обусловлена двумя факторами: ковариацией с X и всеми остальными причинами.  

• График объясняет, почему это работает.  

• Линеаризация не всегда работает корректно.  

• Важно учитывать разницу средних, а не только квантили.  

• Линеаризация может изменить разницу средних, что искажает результаты.  

• Метрика икс должна быть на периоде до эксперимента.  

• Оптимальный период для метрики икс - две недели.  

• График показывает, как снижается дисперсия при использовании метрики икс.  

• Линейная регрессия помогает минимизировать разницу между икс и игрек.  

• Кьюбт - это новая метрика, которая не меняет среднее значение.  

• Кьюбт позволяет нормализовать изменения пользовательского поведения.  

• Кьюбт снижает дисперсию метрики, что улучшает точность результатов.  

• В реальных данных дисперсия может снижаться в 19 раз.  

• Кьюбт повышает чувствительность теста и снижает количество данных для анализа.  

• Вопрос о метрике игрек для новых пользователей.  

• Для новых пользователей значение метрики на предэкспериментальном периоде принимается за ноль.  

• Можно либо исключить новых пользователей, либо учитывать их как ноль.  

• Нет единого ответа на вопрос, как обрабатывать новых пользователей.  

• Некоторые сервисы сталкиваются с проблемой отсутствия постоянного идентификатора.  

• Рекомендуется использовать значение на предыдущем периоде за ноль.  

• Если целевая метрика часто меняется, нельзя использовать значение за предыдущий период.  

• Метод вычитания предсказаний позволяет учитывать изменения метрики.  

• Можно использовать среднее значение на предыдущем периоде.  

• Волатильность метрик можно учитывать, вычитая среднее значение.  

• Пример: трафик магазина сильно меняется в зависимости от времени суток.  

• Рекомендуется использовать значение метрики на предыдущем периоде для корреляции.  

• Метод вычитания предсказаний снижает дисперсию, но уменьшает вклад пользователей в целевой показатель.  

• Перевзвешивание помогает учитывать важность пользователей.  

• Пример с метрикой CTR показывает, как вес пользователя влияет на общую метрику.  

• Метод вычитания предсказаний подходит для непрерывных величин.  

• Для дискретных метрик используется линеризация, которая ускоряет тестирование.  

• Линеризация переводит метрику в другое признаковое пространство, но сохраняет чувствительность.  

• В эксперте основной единицей анализа является магазин, а не человек.  

• Используются карты лояльности для отслеживания клиентов.  

• Проблемы с куки решаются через кластеризацию магазинов, а не отдельных пользователей.