Открытое собеседование по статистике с Анатолием Карповым | karpov.courses

• Иван рассказывает о своей текущей работе в компании Крис Паи.  

• Он занимается созданием софта для фильтрации фонового шума.  

• Иван имеет образование в области вычислительной техники и прикладной математики.  

• Иван готовился к собеседованию, но провалил начальный вопрос про B-тестирование.  

• Он прошел курс Карпова-Корса и теперь работает в компании.  

• Иван использует видео с YouTube для подготовки к интервью.  

• Иван занимается аналитикой и инженерингом через Debti.  

• Он консультирует коллег по B-тестированию и переводит видео для коллег.  

• Офис компании находится в Армении, где многие говорят на русском или английском.  

• Иван объясняет, как работает статистический вывод и формулируются гипотезы.  

• Он обсуждает уровни значимости и распределения статистики.  

• Иван подчеркивает асимметрию статистического вывода и сложность доказательства отсутствия различий.  

• Иван объясняет формулу для одновыборочного теста.  

• Он объясняет, почему разница между средними нормируется на стандартную ошибку среднего.  

• Иван объясняет, что стандартная ошибка среднего помогает оценить точность выборочного среднего.  

• Иван подчеркивает важность понимания стандартной ошибки среднего.  

• Он объясняет, что стандартная ошибка среднего является стандартным отклонением выборочных средних.  

• Иван завершает, что большая выборка и нормальное распределение помогают оценить статистическую значимость.  

• Стандартная ошибка среднего уменьшается с увеличением размера выборки.  

• Оценка не линейна, а зависит от корня из размера выборки.  

• Разница в точности измерений при увеличении размера выборки значительна.  

• Чем больше дисперсия признака, тем больше измерений требуется для точности.  

• При нулевой дисперсии достаточно одного измерения.  

• Чем меньше дисперсия, тем меньше стандартная ошибка среднего.  

• Методы сокращения дисперсии помогают ускорить тесты.  

• Стандартная ошибка среднего является ключевым показателем в тестах.  

• Оценка дисперсии по выборке может быть смещенной, что требует корректировки.  

• Оценка дисперсии по выборке смещена вправо.  

• Для исправления смещения используется деление на n-1.  

• Это позволяет получить более точную оценку дисперсии.  

• Проблема смещения возникает из-за деления на n при расчете среднего.  

• В дисперсии используется среднее выборочное, что приводит к смещению.  

• Истинное среднее генеральной совокупности находится рядом с выборочным средним.  

• Выборочное среднее минимизирует сумму квадратов отклонений.  

• Истинное среднее генеральной совокупности находится рядом с выборочным средним.  

• Это приводит к занижению оценки дисперсии, что требует корректировки.  

• Рассматривается задача оценки максимума генеральной совокупности.  

• Выборочный максимум может быть смещенной оценкой.  

• Вероятность, что выборочный максимум будет больше или меньше максимума генеральной совокупности, мала.  

• Выборочный максимум, скорее всего, будет меньше максимума генеральной совокупности.  

• Для исправления смещения можно увеличить размер выборки.  

• Увеличение выборки уменьшает смещение и увеличивает точность оценки.  

• Тест Манна-Уитни сравнивает средний показатель рангов, а не медианы.  

• В некоторых источниках ошибочно утверждают, что тест сравнивает медианы.  

• Тест Манна-Уитни не является параметрическим методом, но часто используется для сравнения медианы.  

• В индустрии часто работают с малыми выборками, что усложняет применение статистики.  

• Применение статистики на малых выборках может привести к неверным результатам.  

• Для решения этой проблемы можно использовать стратифицированные выборки или другие методы.  

• Применение статистики на малых выборках требует осторожности.  

• В формуле теста нет явной зависимости от размера выборки.  

• Распределение, используемое для оценки статистики, определено для различных степеней свободы, включая малые выборки.  

• Обсуждение, как определить нормальное распределение в генеральной совокупности.  

• Пример с двумя нормальными распределениями и выборкой из 20 наблюдений.  

• Т-тест работает корректно, если распределение признаков нормальное.  

• Скошенное распределение может привести к проблемам с Т-тестом.  

• Центральная предельная теорема утверждает, что распределение выборочных средних будет нормальным при большом количестве наблюдений.  

• Комбинация малого числа наблюдений и скошенного распределения может вызвать проблемы.  

• Споры о возможности использования Т-теста для ненормальных распределений.  

• Пример с двумя людьми, обвиняющими автора в распространении ереси.  

• Т-тест ведет себя по-разному в зависимости от размера выборки и типа распределения.  

• Вопрос о возможности сравнения двух выборок из-за отсутствия доступа к генеральной совокупности.  

• Обсуждение использования бутстрапа и его ограничений.  

• Непараметрические тесты и проверка нормальности распределения.  

• Тест Шапиро-Уилка проверяет нормальность распределения выборки.  

• Логика теста и его применение для оценки нормального распределения.  

• Важность понимания основ статистики и формул.  

• Важность понимания формул и их применения.  

• Вопросы о том, почему вычитаются определенные значения и как это влияет на результаты.  

• Обсуждение асимметрии статистического вывода и его влияния на выводы.  

• Задача: доказать, что новый интерфейс не изменил поведение пользователей.  

• Классическая формулировка: доказать, что поведение до и после равны.  

• Важно понять, что значит "изменил" и как это измерить.  

• Пример: рекламодатели тратят 100 рублей, снижение на рубль критично.  

• Оценка разницы между тратами до и после.  

• Использование p-value для оценки значимости изменений.  

• Определение минимально значимого эффекта MDE.  

• Пример: разница в один рубль критична.  

• Оценка вероятности, что тест зафиксирует разницу в один рубль.  

• p-value больше 0.05 указывает на отсутствие или незначительное изменение.  

• Важность учета мощности теста для выводов.  

• Практика signifance boundering для проверки значимости изменений.  

• В науке значимость важнее размера эффекта.  

• В индустрии значимость и размер эффекта идут рука об руку.  

• Пример: 3% улучшение лечения неизлечимой болезни.  

• Обсуждение работы в Ozon и VK.  

• Важность классического ценообразования для бизнеса.  

• Примеры из практики, где динамическое ценообразование может быть проблематичным.  

• Обсуждение A/B-тестов и их важности для продуктовых рекомендаций.  

• Пример: в Ozon никогда не проводили A/B-тесты, и задача - провести первый тест.  

• Упрощение задачи: два товара и много новых пользователей.  

• Описание системы сплитования: использование хэшей и солей для разделения пользователей.  

• Преимущества: независимость сплитов и возможность проведения перпендикулярных тестов.  

• Универсальность решения: хэш плюс соль как универсальное решение для множества проблем.  

• Вопросы: почему система может работать некорректно и как проверить её корректность.  

• Проверка до эксперимента: использование исторических данных для проверки пропорций и глобальных метрик.  

• Важность соблюдения пропорций и отсутствия значительных различий в метриках между группами.  

• Генерация множества тестов для проверки корректности системы сплитования.  

• Оценка метрик и анализ распределения пивелио.  

• Равномерное распределение пивелио как признак корректной работы системы сплитования.  

• Обсуждение возможности тестирования системы на исторических данных.  

• Рассмотрение ситуации, когда система появилась недавно и нет исторических данных.  

• Предложение провести эксперимент на живых пользователях для проверки корректности работы системы.  

• Вопрос о количестве пользователей для теста.  

• Рассуждение о том, как определить необходимое количество пользователей для теста.  

• Пример расчета необходимого количества пользователей для теста с учетом погрешности.  

• Введение понятия проксиметрик для долгосрочных метрик.  

• Пример использования проксиметрик для оценки ретеншна пользователей.  

• Рассуждение о том, как использовать проксиметрики для оценки долгосрочных метрик.  

• Примеры ситуаций, когда проксиметрики могут быть полезны.  

• Обсуждение случаев, когда ключевые метрики сложно измерить или они имеют высокую дисперсию.  

• Пример использования проксиметрик для оценки счастья пользователей.  

• Пример использования проксиметрик для малочисленных групп пользователей.  

• Рассуждение о том, как тестировать воронку с малым количеством пользователей.  

• Пример использования проксиметрик для оценки качества групп пользователей.  

• AB-тесты могут быть невозможны из-за невозможности создать равные условия для всех пользователей.  

• Пример с оплатой курьеров: разные способы оплаты могут вызвать недовольство пользователей.  

• Решение: разделение пользователей на регионы для проведения тестов.  

• Разделение пользователей на регионы для проведения AB-тестов.  

• Пример с Авито: тестирование разных способов оплаты в разных регионах.  

• Прогнозирование метрик для проведения AB-тестов без разделения пользователей.  

• Проблема подглядывания: пользователи могут наблюдать за результатами AB-тестов.  

• Маркетологи хотят, чтобы тесты можно было прерывать заранее.  

• Два подхода: формализация критериев для прерывания тестов и использование байесовских тестов.  

• Обсуждение термина "однорукие бандиты" в контексте статистики.  

• Переход к обсуждению многоруких бандитов.  

• Интуитивное понимание связи между пивелио и временем в AB-тесте.  

• Обсуждение гиперболического графика и ошибки первого рода.  

• Возможность моделирования различных альфа-значений для разных дней теста.  

• Пример с тремя днями теста и выбором порогов.  

• Вопрос о распределении трат пользователей в e-commerce.  

• Важность выбора корректного и мощного теста для ключевой метрики.  

• Использование симуляции для выбора теста.  

• Обсуждение сложностей с бутстрапом и его реализацией.  

• Введение в посоновский бутстрап для ускорения вычислений.  

• Преимущества посоновского бутстрапа перед обычным.  

• Проблема менеджеров по поводу медленной сходимости AB-тестов.  

• Методы уменьшения дисперсии и стратификации для ускорения тестов.  

• Применение KPI и стратификации для улучшения сходимости.  

• В экспериментах часто используются сложные метрики, такие как рейшо-метрики.  

• Пример: метрика ситиар, где количество просмотров в числителе, а количество кликов на товар в знаменателе.  

• Проблема в том, что метрики становятся неюзабельными, так как переменные становятся зависимыми.  

• В Яндексе придумали нереализацию, которая позволяет разбить числитель и знаменатель в одну формулу.  

• Это позволяет посчитать среднюю и дисперсию для применения в тестах.  

• Обсуждение завершено, основные вопросы затронуты.  

• Видео не является симуляцией реального собеседования, а скорее обсуждением тем, которые могут быть на собеседованиях.  

• Цель - показать, как могут выглядеть собеседования и какие темы могут обсуждаться.  

• Важно, чтобы собеседование было обоюдно полезным и интересным для обеих сторон.  

• Если кандидат не знает ответ на вопрос, лучше попросить помощи, чем молчать.  

• Даже маленькая подсказка может показать, что кандидат зацепился за мысль и довел ее до конца.  

• Благодарность за участие и просьба поделиться материалами для подготовки к собеседованиям.