Введение в GLM: что это такое и как всё становится хуже | Вебинар | karpov.courses

• Приветствие и представление спикера.  

• Уточнение, что вебинар будет на языке Python.  

• Ожидание, что зрители понимают основы Python и его библиотек для анализа данных.  

• Ожидание, что зрители понимают линейную регрессию и её интерпретацию.  

• Тезис о том, что чем дальше от курсов, тем сложнее данные и методы.  

• Пример с GEM, который будет рассмотрен.  

• Введение в нормальную или гауссовскую распределение.  

• Три главных допущения линейной регрессии.  

• Проблемы с нарушением этих допущений в реальных данных.  

• Введение в устойчивые или робастные методы.  

• Примеры методов, таких как коэффициент корреляции Спирмена и тест Манна-Уитни.  

• Эти методы помогают справляться с нарушениями нормальности распределения и гомогенности дисперсии.  

• GEM расшифровывается как generalized linear models.  

• GEM позволяет работать с распределениями, которые не соответствуют нормальному.  

• Пример формулы GEM и её отличия от линейной регрессии.  

• Объяснение функции связи в GEM.  

• Преобразование зависимой переменной для соответствия нормальному распределению.  

• Решение проблемы интерпретации отрицательных значений в предсказаниях.  

• Функция связи обеспечивает линейную взаимосвязь между зависимой и независимой переменными.  

• Функции связи включают логарифмы, которые принимают значения от минус бесконечности до плюс бесконечности.  

• Логарифмы компенсируют правостороннюю асимметрию распределения.  

• В дальнейшем будут рассмотрены логарифмы и вариации.  

• Номинативные данные с двумя категориями: 0 или 1, да или нет.  

• Пример: покупка бутылки, где возможны только два исхода.  

• Проблема: отсутствие градаций, что требует предсказания вероятности.  

• Биномиальная регрессия работает с переменными, распределенными по Бернулли.  

• Пример: подбрасывание монетки, где вероятность успеха и количество попыток определяют распределение.  

• Логистическая регрессия использует логит для преобразования вероятностей.  

• Логистическая регрессия преобразует вероятности в логит.  

• Логит принимает значения от минус бесконечности до плюс бесконечности.  

• Логистическое распределение похоже на нормальное, но не идентично.  

• Линейная регрессия не ограничена пределами 0 и 1, что плохо.  

• Логистическая регрессия строит кривую, которая не выходит за пределы 0 и 1.  

• Пример с данными о выживших на Титанике.  

• Использование пакета statsmodels для логистической регрессии.  

• Пример с данными о выживших и погибших на Титанике.  

• Построение модели и интерпретация коэффициентов.  

• Логистическая регрессия оценивает шансы выживания на основе одной категории, называемой референтной.  

• В примере с "Титаником" первый класс имеет самые высокие шансы выжить, а третий класс - самые низкие.  

• Мужчины имеют более низкие шансы выжить, чем женщины, независимо от класса.  

• Логистическая регрессия названа в честь функции связи логит, но может использовать другие функции связи.  

• Пробит регрессия преобразует вероятности в нормальное распределение, что делает её менее интуитивно понятной.  

• Логистическая регрессия более удобна для интерпретации и часто используется в реальной жизни.  

• Мультиномиальная логистическая регрессия используется для данных с несколькими категориями.  

• В примере с "Титаником" используется переменная с классами, где первый класс является референтной категорией.  

• Коэффициенты показывают, как шансы изменяются относительно первого класса.  

• Порядковые данные имеют порядок, что делает их анализ сложным.  

• Пример: оценка вкуса воды в бутылке от "очень плохо" до "очень хорошо".  

• Мультиномиальная регрессия не учитывает порядок, а линейная регрессия не может точно оценить изменения.  

• Порядковые шкалы могут быть нерегулярными и несимметричными.  

• Оценки могут колебаться от человека к человеку.  

• Распределение рейтингов часто несимметрично и может быть искажено.  

• Избегайте анализа порядковых данных, если это возможно.  

• Используйте непараметрические методы, такие как корреляции Спирмена или Тасман.  

• В сложных случаях применяйте порядковую регрессию.  

• В Python порядковая регрессия практически не поддерживается.  

• Пакет ardo.tlojet позволяет анализировать порядковые данные.  

• Пример анализа данных по качеству красных вин.  

• Данные включают химические показатели и оценки вин.  

• Модель строится с использованием метода fit.  

• Интерпретация результатов: летучая кислотность, содержание хлоридов и диоксида серы негативно влияют на оценку вина.  

• Данные о количествах дискретные и правосторонние асимметричные.  

• Часто описываются распределением Пуассона.  

• Проблемы с дисперсией и средним значением данных.  

• Отрицательное биномиальное распределение является гибридом распределения Пуассона и распределения Гамма.  

• Оно обладает теми же свойствами, что и распределение Пуассона, но имеет дополнительный параметр формы.  

• Отрицательное биномиальное распределение поддерживает больше форм, чем распределение Пуассона.  

• Отрицательное биномиальное распределение может не справляться с выбросами нулей.  

• Для таких случаев созданы модели с повышенным количеством нулей zero inflate models.  

• Эти модели имеют дополнительный параметр, задающий вероятность принадлежности к процессу генерации нулей.  

• Рассматривается пример с кредитными карточками, где люди имеют активные счета.  

• Переменные: количество активных счетов, возраст, годовой доход, ежемесячные траты, владение собственностью и самозанятость.  

• Построение моделей для распределения Пуассона и отрицательного биномиального распределения.  

• Модель Пуассона имеет высокую дисперсию, что негативно влияет на предсказательную способность.  

• Отрицательное биномиальное распределение имеет более низкую дисперсию, но все еще не идеально.  

• Сравнение моделей с использованием информационного критерия Акаике.  

• Zero inflate модели требуют предварительной подготовки данных.  

• Перекодировка категориальных данных и добавление константы.  

• Использование функции zero inflate для построения модели.  

• Появление дополнительной переменной inflate const, отвечающей за дополнительные нули.  

• Значимые коэффициенты: возраст и ежемесячные траты.  

• Модель с повышенным количеством нулей показывает лучшие результаты по сравнению с моделью Пуассона.  

• Модель с отрицательно биномиальным распределением лучше, чем распределение Пуассона.  

• Модель с отрицательным биномиальным распределением не выдает ошибок и предупреждений.  

• Коэффициент альфа оценивает вариабельность данных, но обычно не интерпретируется.  

• Возраст и доход позитивно влияют на вероятность события.  

• Модель с отрицательным биномиальным распределением лучше всего описывает данные.  

• Для предиктивной аналитики лучше использовать модель с отрицательным биномиальным распределением.  

• Логистическая регрессия подходит для бинарной переменной "ушел/не ушел".  

• Важно учитывать время до события, что требует моделей времени до события.  

• Модели времени до события, также известные как анализ выживаемости, учитывают цензурированные данные.  

• Модель использует распределение Вейбулла или Гомперца.  

• Коэффициенты модели оценивают, ускоряется или замедляется время до события.  

• Пример использования пакета lifelines для анализа данных о клиентах компании.  

• Добавление константы к переменной времени для устранения смещения.  

• Перекодирование переменных для соответствия требованиям пакета lifelines.  

• Использование функции efti_fitter для построения модели.  

• Позитивные коэффициенты замедляют время до события, отрицательные ускоряют.  

• Monthly charges и наличие иждивенцев влияют на продолжительность использования услуг.  

• Проблемы с системой биллинга могут быть причиной раннего ухода клиентов.  

• Логарифмическая трансформация используется для упрощения интерпретации данных.  

• Пример: вероятность получения определенного результата можно сравнить с подкидыванием монетки.  

• Чем больше значение, тем менее вероятна ситуация.  

• Вероятность экстремальных результатов уменьшается при увеличении количества подкидываний монетки.  

• Отклонение нулевой гипотезы указывает на значимость результатов.  

• Это подводит к завершению презентации и мотивации для дальнейшего анализа данных.  

• Существуют более сложные модели, такие как GAM, для нелинейных ситуаций.  

• Важно понимать, что мир становится сложнее, а не хуже.  

• Чем сложнее мир, тем умнее должны быть аналитики для его понимания.  

• Пробит регрессия и логистическая регрессия показывают схожие результаты.  

• Пробит регрессия используется для нормального распределения данных.  

• Модели выживаемости позволяют прогнозировать отток пользователей.  

• Случайные леса и градиентный бустинг сложно интерпретировать.  

• Регрессионные модели легче интерпретируются, так как дают понятные коэффициенты.  

• Существуют пакеты для компенсации сложности интерпретации, но они не всегда доступны.  

• Вопросы можно задать в записи вебинара или в группе ВКонтакте.  

• Подписывайтесь на курсы для получения дополнительной информации.  

• Благодарность за внимание и прощание.