Введение в анализ временных рядов. Модель ARIMA // Занятие курса «Machine Learning. Professional»

• Приветствие и представление темы урока.  

• Обсуждение основ временных рядов, их разложения, сглаживания и простейшей модели прогнозирования ARIMA.  

• Проверка готовности участников и настройка на успешное проведение урока.  

• Представление Игоря Стурейка, преподавателя и руководителя курсов в OTUS.  

• Образование физика, работа в области математического моделирования и дата-сайнс.  

• Призыв к участникам задавать вопросы и присоединяться к комьюнити.  

• Правила участия: задавать вопросы в чат, преподаватель ответит на них после завершения логического блока.  

• Структура урока: теория временных рядов, демонстрация кода и практические задания.  

• Важность кода для имитации реального урока и подготовки студентов.  

• Описание курсов и направлений в OTUS, акцент на направление EML.  

• Подготовка файлов с кодом для практических заданий перед вебинаром.  

• Возможность скачивания материалов после занятия.  

• Описание курса EML Professional, его команды и программы обучения.  

• Призыв к участникам зарегистрироваться на курс.  

• Переход к рассказу об OTUS.  

• OTUS как онлайн-университет, предоставляющий учебные программы.  

• Программы повышения квалификации и профессиональной переподготовки.  

• Курсы подходят для разных уровней специалистов, включая сеньоров и лидов.  

• Важность государственной лицензии для программ OTUS.  

• Работодатели могут направлять сотрудников на обучение в OTUS.  

• Компания может оплатить обучение и получить документы государственного образца.  

• OTUS предлагает корпоративные программы обучения для крупных компаний.  

• Обучение охватывает программирование, инфраструктуру, тестирование, аналитику и бизнес-аналитику.  

• Включает области, такие как машинное обучение, компьютерное зрение и финансовые модели.  

• Специальные программы для управленческих навыков и безопасности.  

• Более 130 курсов и 600 активных преподавателей.  

• Более 450 тысяч выпускников и специалистов.  

• OTUS формирует комьюнити выпускников и специалистов для поддержки и обмена знаниями.  

• Вопросы от студентов и специалистов о курсах и направлениях обучения.  

• Курсы по анализу временных рядов и машинному обучению.  

• Рекомендации по выбору курсов в зависимости от уровня подготовки.  

• Введение в временные ряды и их особенности.  

• Сглаживание временных рядов и его значение.  

• Модель ARIMA как простая модель прогнозирования временных рядов.  

• Временной ряд можно разложить на несколько компонентов: тренд, периодические компоненты и шум.  

• Шум считается стационарным рядом, с которым можно работать.  

• Для разложения используется пакет statsmodels в Python.  

• Идея разложения временных рядов пришла из теории обработки сигналов.  

• Временные ряды изначально исследовались в физике связи и математике.  

• Для анализа экономических показателей добавили компоненту тренда.  

• Временной ряд представляется в виде набора графиков.  

• Выделяются тренд и гармонические составляющие.  

• Шум остается после выделения всех гармонических сигналов.  

• Стационарный ряд имеет постоянный математический ожидания, постоянную амплитуду и частоту.  

• Можно предсказать следующее значение, зная предыдущее.  

• Случайный шум также является стационарным рядом.  

• Используется тест Дики-Фуллера для проверки стационарности.  

• Первая разность ряда должна быть стационарной.  

• Вторая разность проверяет интегрированность ряда.  

• Метрика — это правило вычисления ошибки для оценки качества модели.  

• Используются стандартные метрики: среднеквадратичное отклонение, средняя абсолютная ошибка и средняя процентная ошибка.  

• Для временных рядов важны информационные критерии, показывающие сложность модели.  

• Сглаживание необходимо для работы с зашумленными данными.  

• Скользящее среднее — простой метод сглаживания.  

• Взвешенное сглаживание учитывает влияние ближайших значений на будущее.  

• Экспоненциальное сглаживание позволяет прогнозировать значения на следующий шаг.  

• Коэффициент сглаживания влияет на точность прогноза.  

• Пример с различными коэффициентами показывает, как они влияют на сглаживание данных.  

• Двойное экспоненциальное сглаживание выделяет уровень и тренд.  

• Это позволяет точнее настраивать модель и прогнозировать данные.  

• На практике обычно используется тройное экспоненциальное сглаживание.  

• Истинное значение и сглаженное значение образуют коридор плюс-минус три сигма.  

• Все значения за пределами этого коридора считаются выбросами.  

• Это помогает исключить выбросы из модели.  

• ARIMA объединяет авторегрессию, интегрирование и скользящее среднее.  

• Модель ARIMA позволяет предсказывать будущее на основе предыдущих значений.  

• Совмещение этих компонент создает модель ARIMA.  

• Авторегрессия описывает зависимость текущего значения от предыдущего.  

• Интегрирование позволяет строить модель для первых разностей ряда.  

• Скользящее среднее используется для усреднения данных.  

• SARIMA добавляет сезонную компоненту к модели ARIMA.  

• Это позволяет учитывать годовые, месячные и другие сезонные колебания.  

• Модель SARIMA имеет больше параметров и может выделять несколько сезонных компонент.  

• Для подбора параметров модели ARIMA используются готовые библиотеки.  

• Это позволяет быстро и эффективно подбирать оптимальные коэффициенты.  

• Пример использования библиотеки для анализа данных.  

• Jupiter Notebook используется для работы с данными, но его веб-интерфейс неудобен.  

• VS Code предпочтительнее для небольших проектов из-за легкости и удобства переключения виртуальных окружений.  

• Для больших проектов рекомендуется использовать PyCharm, который обеспечивает универсальность и удобство работы.  

• Импортируются стандартные библиотеки для работы с данными и графиками.  

• Используется функция Box-Cox для нормализации данных.  

• Подгружаются метрики и статистические модели для работы с временными рядами.  

• Рассматриваются данные по количеству пассажиров и энергопотреблению.  

• Строятся графики и анализируются тренды.  

• Используются функции для обработки данных, такие как скользящее среднее и взвешенное среднее.  

• Код предоставляется для практического использования студентами.  

• Обсуждаются функции двойного и тройного экспоненциального сглаживания.  

• Важно приводить ряды к стационарному виду перед использованием этих методов.  

• Рассматривается модель ARIMA и тест Дики-Фуллера.  

• Анализируются автокорреляционные функции для выделения характерных периодов.  

• Первые разности ряда помогают выделить трендовую компоненту и характерные периоды.  

• Преобразование Бокса-Кокса устраняет расхождение в данных.  

• Первая разность ряда показывает наличие компоненты, равной двум годам.  

• Проверка сезонной разности на 12 месяцев делает ряд стационарным.  

• Модель ARIMA предполагает автокорреляцию, интегрированность первого порядка и скользящую среднюю.  

• Прогноз на несколько периодов вперед показывает хорошее соответствие данных.  

• Подбор параметров модели ARIMA требует много времени и усилий.  

• Подбор параметров модели ARIMA осуществляется по сетке значений.  

• Использование информационного критерия Кайке для выбора наилучшей модели.  

• Модель с параметрами авторегрессии 3 и 3, интегрированность 1 и 3, сезонная компонента 1 и 3 показывает лучшее соответствие данных.  

• Модель ARIMA используется для временных рядов с периодичностью и законами, нарушающими стационарность.  

• Модель легко строится и интерпретируется, что важно для бизнеса.  

• Преобразование Бокса-Кокса обратимо и приводит данные к нормальному виду.  

• Нейронные сети могут моделировать временные ряды, используя рекуррентные нейронные сети RNN.  

• Трансформеры, такие как LSTM и GAN, запоминают последовательность и используют её для предсказания.  

• Трансформеры сложны в обучении и требуют мощных вычислительных ресурсов.  

• Тройное экспоненциальное сглаживание выделяет три компоненты с разными коэффициентами.  

• Используется для определения доверительного интервала и фильтрации выбросов.  

• Качество прогноза обычно не очень хорошее, но подходит для простых моделей.  

• Выбросы можно фильтровать или использовать для построения дополнительной модели.  

• Байесовский анализ позволяет интегрировать априорное знание в модель.  

• Кластерный анализ также может быть использован для анализа выбросов.  

• Коэффициенты модели ARIMA подбираются по сетке значений.  

• Используются метрики MSE и информационные критерии Кайке для выбора лучшей модели.  

• Высшие порядки ARIMA моделей отбрасываются по требованию информационного критерия.  

• Книга "Principle and Practice of Time Series Analysis" - одна из лучших по теме.  

• Книга доступна бесплатно на английском языке.  

• Переводная книга "Прогнозирование: принципы и практика" содержит более современные модели.  

• Руководитель курса - Мария Тихонова, преподаватель в ВШЭ и СберДевайс.  

• Курс включает шесть модулей и проектную работу.  

• Преподаватели специализируются в разных областях, что обеспечивает актуальную информацию.  

• Обучение с учителем: основные методы, кросс-валидация, подбор параметров.  

• Обучение без учителя: кластеризация данных, аномалии, графовые модели.  

• Нейросети: основы, обратное распространение ошибки, методы оптимизации.  

• Сверточные сети для обработки изображений и рекуррентные сети для временных рядов.  

• Языковые модели: кодирование текстов, имбединги, трансформеры, модель Берта.  

• Модель ARIMA, автоматическое генерирование признаков, фурье-трансформация.  

• Рекомендательные системы: работа с большими данными, распределенные вычисления.  

• Проектная работа - интересная задача из рабочей практики.  

• Возможность публикации на Хабре после защиты.  

• Почему выбран PyTorch вместо TensorFlow.  

• Использование имбедингов для текстов и компьютерного зрения.  

• Рекомендации по литературе по байесовским моделям.  

• Курс позволяет набрать широкий кругозор.  

• В реальной работе используются различные модели, в зависимости от задачи.  

• Пример использования сверточных сетей и трансформеров в финансовых моделях.  

• Сетка доступна в библиотеке трансформерс и обучается тяжело.  

• Для коммерческой разработки можно использовать предобученную модель TimeG5.  

• Предобученная модель требует обучения, но работает хорошо.  

• Предобученная модель коммерческая и требует оплаты токена.  

• Для частного использования можно запросить токен и попробовать модель.  

• Модель привязана к ограничениям между Россией и другими странами.  

• Вебинары длятся от полутора до двух часов, два раза в неделю.  

• Все записи и материалы сохраняются в личном кабинете.  

• Доступ к материалам пожизненный, пока существует хранилище.  

• Домашние задания не сложные, чтобы не перегружать занятых людей.  

• Дедлайны для сдачи заданий не жесткие, до конца курса.  

• В учебном чате в Telegram преподаватели и комьюнити-менеджер готовы помочь.  

• Преподаватель надеется, что вебинар был полезен.  

• Призывает заполнить опрос о прошедшем занятии для адаптации курса.  

• Опрос доступен только зарегистрированным пользователям.  

• Завершает занятие, выражая радость от встречи и приглашение на программу.