Введение в GLM: что это такое и как всё становится хуже | Вебинар | karpov.courses

• Саша, выпускник факультета психологии МГУ, рассказывает о GEM и его важности.  

• Вебинар будет проводиться на Python с использованием библиотек Pandas и Matplotlib.  

• Ожидается, что участники понимают основы Python и линейной регрессии.  

• Чем дальше от курсов и туториалов, тем больше данные обманывают.  

• Реальные данные могут быть сложными и требовать сложных методов для анализа.  

• Пример GEM показывает, как ситуация ухудшается с каждым шагом.  

• Линейная регрессия основана на нормальном распределении.  

• Три основных допущения: линейная взаимосвязь, нормальное распределение остатков и гомогенность дисперсии.  

• Эти допущения часто нарушаются в реальных данных.  

• Устойчивые методы, такие как ранговые тесты, помогают справляться с нарушениями допущений.  

• Однако, они не решают проблему, когда распределение данных сильно отличается от нормального.  

• В таких случаях GEM становится необходимым.  

• GEM расшифровывается как Generalized Linear Models.  

• Это регрессионные модели, где распределение данных описывается по другим законам.  

• Формула GEM включает зависимую переменную, независимые переменные и коэффициенты.  

• Функция связи связывает правую сторону уравнения с итоговым распределением.  

• Она преобразует данные так, чтобы они могли принимать значения от минус бесконечности до плюс бесконечности.  

• Это позволяет интерпретировать результаты и предсказывать значения.  

• Функции связи включают логарифмы, которые принимают значения от -∞ до +∞.  

• Логарифмы компенсируют правостороннюю асимметрию распределения.  

• В дальнейшем будут рассмотрены логарифмы и их вариации.  

• Номинативные данные с двумя категориями: 0 или 1, да или нет.  

• Пример: покупка бутылки, где возможны только два исхода.  

• Проблема: отсутствие градаций, только 0 или 1.  

• Предсказывание вероятности значений вместо самих значений.  

• Вероятность изменяется от 0 до 1, что не подходит для распределения.  

• Биномиальная регрессия решает эту проблему, используя логит.  

• Логит: натуральный логарифм от шансов, который меняется от -∞ до +∞.  

• Логистическое распределение симметрично, но не идентично нормальному.  

• Логистическая регрессия дает осознанные предсказания, не выходя за пределы 0 и 1.  

• Использование пакета statsmodels для логистической регрессии.  

• Пример с данными о выживших на Титанике.  

• Построение модели и интерпретация коэффициентов.  

• Логистическая регрессия использует одну категорию как референтную.  

• Шансы выжить в первом классе выше, чем во втором и третьем.  

• Мужчины имеют худшие шансы выжить, чем женщины.  

• Коэффициенты возраста отрицательные, что означает снижение шансов выжить с возрастом.  

• Логистическая регрессия часто используется вместо биномиальной.  

• Логистическая функция преобразует вероятности в логистическое распределение.  

• Пробит-регрессия использует нормальное распределение для преобразования вероятностей.  

• Нормальное распределение всегда одинаково и измеряется в z-значениях.  

• Пробит-регрессия редко используется из-за сложности интерпретации.  

• Логистическая и пробит-регрессии дают схожие результаты.  

• Пробит-регрессия менее стабильна при наличии выбросов.  

• Выбор между логистической и пробит-регрессией зависит от удобства и контекста.  

• Используется для данных с несколькими категориями.  

• Вероятности для каждого события рассчитываются отдельно.  

• Функция связи называется multinomial logit.  

• Пример с категориальными данными, где первый класс является референтной категорией.  

• Коэффициенты показывают изменения шансов относительно первого класса.  

• Мужчины имеют более высокие шансы попасть во второй и третий классы.  

• Порядковые данные имеют порядок, что усложняет их анализ.  

• Пример: оценка вкуса воды от "очень плохо" до "очень хорошо".  

• Порядковые данные не могут быть проанализированы мультиномиальной или линейной регрессией.  

• Порядковые данные могут иметь неравные дистанции между баллами.  

• Оценки могут колебаться от человека к человеку, что затрудняет анализ.  

• Распределение рейтингов часто асимметрично и может быть искажено.  

• Избегайте анализа порядковых данных, если это возможно.  

• Используйте непараметрические методы, такие как корреляции Спирмена или Тау.  

• В сложных случаях применяйте порядковую регрессию.  

• Порядковая регрессия оценивает шанс перехода между категориями.  

• В Python для порядковой регрессии используются пакеты ardo и bokeh.  

• Пример анализа данных о качестве красных вин.  

• Данные включают химические показатели и оценки качества вина.  

• Модель порядковой регрессии объясняет влияние различных факторов на оценку вина.  

• Негативные факторы: летучая кислотность, содержание хлоридов и диоксида серы.  

• Позитивные факторы: сульфаты и алкоголь.  

• Данные о количествах дискретные, не могут быть отрицательными и часто асимметричны.  

• Описываются распределением Пуассона, которое имеет один параметр, заменяющий среднее и дисперсию.  

• Проблемы возникают, если дисперсия не равна среднему значению.  

• Модель Пуассона не всегда подходит для фиктивной аналитики.  

• Отрицательное биномиальное распределение - гибрид Пуассона и Гамма-распределения.  

• Обладает теми же свойствами, что и Пуассона, но имеет дополнительный параметр.  

• Отрицательное биномиальное распределение поддерживает больше форм, чем Пуассона.  

• В некоторых случаях наблюдается выброс нулей, что требует дополнительных моделей.  

• Модели с повышенным количеством нулей Zero Inflated Models решают эту проблему.  

• Рассматриваются данные по кредитным карточкам: количество активных счетов, возраст, доход, траты, владение собственностью и самозанятость.  

• Построение модели Пуассона показывает, что владение собственностью и возраст влияют на количество счетов.  

• Проблема сверхдисперсии в модели Пуассона решается с помощью отрицательного биномиального распределения.  

• Отрицательное биномиальное распределение лучше справляется с проблемой сверхдисперсии.  

• Информационный критерий AIC помогает сравнить модели.  

• Отрицательное биномиальное распределение имеет более низкий AIC, что указывает на его лучшую предсказательную способность.  

• Подготовка данных для Zero Inflated моделей: перекодировка категориальных данных и добавление константы.  

• Использование функции ZeroInflatedModel для построения модели.  

• Модель показывает, что возраст и месячные траты остаются значимыми факторами, влияющими на количество кредитных карточек.  

• Модель с отрицательным биномиальным распределением лучше, чем распределение Пуассона.  

• Функция zeta_inflated_negative_binomial_lp не выдает ошибок и предупреждений.  

• Коэффициент альфа оценивает вариабельность данных, но обычно не интерпретируется.  

• Владелец недвижимости, возраст и доход позитивно влияют на данные.  

• Модель с отрицательным биномиальным распределением имеет самый низкий критерий Кайзера.  

• Для предиктивной аналитики лучше использовать эту модель, но для интерпретации можно использовать распределение Пуассона.  

• Используйте модели, которые лучше всего подходят вашим данным.  

• Если простая модель дает те же результаты, можно использовать её.  

• Пример с оттоком клиентов: логистическая регрессия подходит не всегда.  

• Логистическая регрессия не всегда подходит, так как нужно учитывать время до события.  

• Модели времени до события, или анализ выживаемости, учитывают как события, так и время до них.  

• Эти модели изначально разрабатывались для медицинской статистики.  

• Модель ускорения времени неудачи использует распределение Вейбулла.  

• Распределение Вейбулла имеет два параметра: дисперсию и форму.  

• Модель оценивает, как быстро произойдет событие, с помощью коэффициентов.  

• Используется пакет lifelines для анализа выживаемости.  

• Данные связаны с оттоком клиентов компании, предоставляющей интернет и мобильную связь.  

• Подготовка данных: добавление константы к переменной времени и перекодировка переменных.  

• Позитивные коэффициенты означают замедление времени до события, отрицательные — ускорение.  

• Monthly charges не влияет на отток клиентов.  

• Пожилые люди и клиенты с физическими чеками уходят чаще.  

• Люди с иждивенцами в семье дольше остаются клиентами.  

• Логарифмическая трансформация используется для упрощения интерпретации данных.  

• Вероятность получения определенных результатов можно оценить, сравнивая их с подбрасыванием монетки.  

• Чем больше значение коэффициента, тем менее вероятна ситуация при нулевой гипотезе.  

• Вероятность экстремальных результатов при нулевой гипотезе уменьшается.  

• Отклонение нулевой гипотезы указывает на значимость результатов.  

• Мотивация продолжать анализировать данные и становиться лучше.  

• Регрессионные модели могут быть сложными и нелинейными.  

• Важно понимать, что мир становится сложнее, а не хуже.  

• Развитие и усложнение аналитических навыков приносит надежду и понимание.  

• Пробит-регрессия и логистическая регрессия сравниваются с помощью критерия хи-квадрат.  

• Бусинамиальная регрессия используется для зависимых переменных с несколькими категориями.  

• Модели выживаемости прогнозируют отток пользователей на основе данных о времени и уходе пользователя.  

• Случайные леса и градиентный бустинг сложно интерпретировать из-за отсутствия понятных коэффициентов.  

• Существуют пакеты, которые могут компенсировать эту сложность.  

• Вопросы можно задать в записи вебинара или в группе ВКонтакте.  

• Призыв подписаться на группу ВКонтакте и присоединиться к курсу.  

• Благодарность за участие и пожелание всем удачи.