Лекция 10 Прогнозирование временных рядов

• Евгений, доцент МФТИ и ВШЭ, рассказывает о прогнозировании временных рядов.  

• Обсуждаются классические подходы и современные методы.  

• Призывает задавать вопросы и не быть в режиме монолога.  

• Временной ряд - это признак, значения которого измеряются через постоянные временные интервалы.  

• Важно, чтобы промежуток между измерениями был одинаковым.  

• Примеры рядов: средняя заработная плата в России, цены акций, месячные, квартальные или годовые данные.  

• Прогнозирование временного ряда включает поиск функции, зависящей от всей известной информации к моменту прогнозирования.  

• Функция принимает все значения ряда и дополнительные параметры, такие как горизонт прогнозирования.  

• Полезно добавлять предсказательный интервал для оценки точности прогноза.  

• Пример из книги Найна Сильвера о наводнении в Грандфорке, Северная Дакота.  

• Метеорологическая служба предсказала высоту паводка, но ошиблась на 5 футов.  

• Важно учитывать точность прогнозов для принятия решений.  

• В задачах машинного обучения и статистики данные обычно простые и независимые.  

• Временные ряды устроены иначе: будущее зависит от прошлого.  

• Чем меньше выборка похожа на шум, тем точнее можно спрогнозировать значение признака.  

• В задачах с учителем используются признаки и регрессия.  

• В случае временных рядов признаков нет, поэтому используются функции времени.  

• Пример регрессии на линейную и квадратичную функции для средней заработной платы.  

• Автокорреляция - это корреляция ряда с самим собой, сдвинутым на определенное количество отсчетов.  

• Лаг автокорреляции определяет, на сколько отсчетов сдвигается ряд.  

• Автокорреляция обладает свойствами корреляции Пирсона.  

• Тренд - плавное долгосрочное изменение среднего уровня ряда.  

• Сезонность - циклические изменения уровня ряда с постоянным периодом.  

• Циклы - колебания уровня ряда вокруг среднего с нефиксированным периодом.  

• Ошибка - непрогнозируемая случайная компонента ряда, влияющая на значение ряда.  

• Ряд с количеством контрактов сокровищницы США показывает линейный понижающийся тренд.  

• Ряд с объемом производства электричества в Австралии имеет повышающийся тренд и сильную годовую сезонность.  

• Ряд с объемами продаж жилых домов в США показывает годовую сезонность и экономические циклы.  

• Ряд ежедневных изменений индекса Доу-Джонса выглядит как шум без явного тренда или сезонности.  

• Ряд продаж вина в Австралии показывает затухающий тренд и годовую сезонность.  

• Диаграмма рассеяния показывает, что продажи в соседние месяцы похожи, а пики приходятся на декабрь.  

• Автокорреляционная функция показывает пики на лагах, кратных сезонному периоду.  

• Автокорреляция помогает определить наличие тренда и сезонности в ряду.  

• Для рядов с сильным трендом автокорреляция имеет пики при маленьких лагах.  

• Для рядов с сезонностью и циклами автокорреляция определяется циклом, а не сезонностью.  

• Критерий Стьюдента проверяет значимость автокорреляции при фиксированном лаге.  

• Критерий Линга-Бокса проверяет значимость всех автокорреляций при нескольких лагах.  

• Ряд называется стационарным, если распределение в любом окне не зависит от его положения.  

• Ряды с трендами и сезонностью не стационарны.  

• Ряды с циклами могут быть стационарными, так как их распределение не зависит от положения окна.  

• Упражнение по выбору стационарных рядов из девяти предложенных.  

• Ряды с сезонностью: продажи домов, производство пива, электричество.  

• Ряды с трендом: индекс Доу-Джонса, распределение ФРС.  

• Ряды с гетеросскедастичностью: электричество.  

• Критерий КПС: проверяет гипотезу о стационарности ряда.  

• Критерий Дики-Фуллера: проверяет гипотезу о нестационарности ряда.  

• Преобразования для стабилизации дисперсии: логарифмирование, преобразование Бокса-Кокса.  

• Логарифмирование как частный случай преобразования Бокса-Кокса.  

• Преобразование стабилизирует дисперсию ряда.  

• Подводные камни: не применяется к рядам с нулевыми и отрицательными значениями.  

• Переход от исходного ряда к ряду попарных разностей.  

• Убивает тренд, делая ряд стационарным.  

• Сезонное дифференцирование для устранения сезонности.  

• Авторегрессия: регрессия ряда на сам себя.  

• Модель описывает стационарный ряд с шумом.  

• Константы в модели должны лежать на единичном круге для стационарности.  

• Усреднение шума по предыдущим значениям.  

• Игрек представляет собой линейную комбинацию константы, шума и значений шума в предыдущие моменты времени.  

• Шум считается гауссовским с нулевым средним.  

• Скользящее среднее - это авторегрессия на шум.  

• Модель должна быть обратимой и настраиваемой по данным.  

• Ограничения модели аналогичны авторегрессии.  

• Модель ARMA позволяет приблизить любой стационарный ряд.  

• Модель ARMA богата и может быть использована для прогнозирования стационарных рядов.  

• Алгоритм работы: превратить ряд в стационарный, настроить модель ARMA, прогнозировать, затем обратное преобразование для получения прогнозов исходного ряда.  

• Модель ARMA 22 описывает данные с цикличностью.  

• Модель позволяет прогнозировать ряд с высокой точностью.  

• Ряд описывается моделью ARIMA, если его продифференцированный ряд описывается моделью ARMA.  

• На продифференцированном ряде лучшая модель - константа.  

• Прогнозы исходного ряда - это значения в предыдущие моменты времени.  

• В модели ARIMA можно добавить сезонные компоненты.  

• Модель SARMA включает сезонные компоненты и дифференцирование.  

• Модель SARIMA имеет шесть гиперпараметров.  

• Ряд нестационарный, требуется преобразование в стационарный.  

• Преобразование Бокс-Кокса делает ряд стационарным.  

• Модель ARIMA 22 хорошо описывает данные, но с ошибками в прогнозах.  

• Параметры модели ARIMA подбираются по-разному.  

• Метод наименьших квадратов используется для настройки констант.  

• Гиперпараметры подбираются так, чтобы ряд был стационарным.  

• Параметры ARIMA не выбираются по правдоподобию.  

• Используется регуляризованное правдоподобие для сравнения моделей.  

• Критерий AIC помогает выбрать лучшую модель для прогноза.  

• Критерии Окайки и Байеса минимизируют RMSE на тестовой выборке.  

• Байесовский критерий более жесткий, но асимптотически состоятелен.  

• Байесовский критерий отбирает нужные признаки с вероятностью 1.  

• Выбор начального приближения для ARIMA по графику автокорреляционной функции.  

• Значимые лаги определяются по графику, последний значимый лаг выбирается как начальное приближение.  

• Для сезонных рядов ку выбирается меньше длины сезонного периода.  

• Частичная автокорреляция используется для выбора п.  

• п выбирается по графику частичной автокорреляции, аналогично ку.  

• Последний значимый сезонный лаг выбирается как п большое, а последний значимый несезонный лаг как п маленькое.  

• Визуальный анализ ряда перед прогнозированием.  

• Деление ряда на количество дней для упрощения.  

• Отрезание начала ряда для устранения влияния аномалий.  

• Выбросы могут быть заменены на иней в реализации ARIMA.  

• ARIMA минимизирует сумму квадратов отклонений, что влияет на коэффициенты.  

• Алгоритм включает дифференцирование, анализ автокорреляционной функции, выбор начального приближения и обучение моделей.  

• Прогнозы строятся на основе модели, заменяя ошибки из будущего на нули.  

• Качество прогнозов улучшается со временем, но часто используется одна модель для всех прогнозов.  

• Пример прогноза зарплаты на два года.  

• Остатки - это разность между фактом и прогнозом.  

• Остатки должны быть несмещенными, чтобы прогноз был точным.  

• Пример: прогноз контрактов казначейства США показывает, что остатки не равны нулю, что указывает на необходимость сдвига на константу для улучшения прогноза.  

• Несмещенность проверяется с помощью критерия Сьюзина или Уилла Кокссона.  

• Остатки должны быть стационарными, чтобы модель выбирала всю информацию из данных.  

• Пример: остатки наивного сезонного метода не стационарны, что указывает на необходимость улучшения модели.  

• Остатки не должны быть автокоррелированы, чтобы модель учитывала всю информацию.  

• Если остатки автокоррелированы, это означает, что модель не подходит для прогнозирования.  

• Проверка автокорреляции проводится с помощью автокорреляционной функции или критерия Юнга-Бокса.  

• Если остатки нормальные и стационарные, предсказательные интервалы строятся по формулам.  

• В случае нестационарных остатков используется метод симуляции для построения предсказательных интервалов.  

• В R есть функция autoarima, которая автоматически подбирает оптимальную ARIMA-модель.  

• autoarima выбирает лучшую ARIMA-модель на основе данных.  

• Можно зафиксировать гиперпараметры ARIMA и запретить сезонность.  

• Функция не подбирает лямбда-параметр Box-Cox, что требует ручной настройки.  

• autoarima не заменяет все шаги в построении модели, но значительно упрощает процесс.  

• Пример использования autoarima на данных о зарплате показывает хорошие результаты.  

• Важно учитывать особенности рядов, такие как сезонность и тренды, для улучшения прогнозов.  

• В исламском календаре год короче на 11 дней, что приводит к смещению праздников.  

• Для решения этой проблемы используется бинарная фича, указывающая на наличие праздника в месяце.  

• Эта фича подставляется в ARIMA-модель для прогнозирования.  

• SARIMA использует регрессионные признаки для моделирования остатков.  

• Модель работает как линейная регрессия, где значения ряда регрессируются на внешние признаки.  

• SARIMA позволяет учитывать внешние регрессоры, такие как праздники, в ARIMA-модели.  

• SARIMA можно использовать для моделирования сезонности и праздников.  

• Пример с потреблением электричества в Турции показывает наличие годовой и недельной сезонности.  

• Проблемы с годовой сезонностью решаются с помощью регрессионных признаков.  

• Годовая сезонность моделируется с помощью регрессии на синусы и косинусы.  

• Это позволяет учитывать периоды, не кратные целому году.  

• Регрессионные признаки могут включать тренды и скользящие средние.  

• Регрессия позволяет учитывать праздники и тренды.  

• Использование скользящих средних и регрессионных признаков улучшает точность прогнозов.  

• В некоторых задачах ARIMA может быть менее эффективной, чем регрессия.  

• В задачах массового прогнозирования ARIMA часто менее эффективна.  

• Регрессионный подход позволяет учитывать сложную структуру данных.  

• Использование регрессии с регуляризаторами улучшает качество прогнозов.  

• Качество прогнозов временных рядов оценивается скользящим концом истории.  

• Важно избегать обучения на данных из будущего.  

• Кросс-валидация должна учитывать временные связи в данных.  

• Прогнозирование временных рядов требует аккуратного подхода.  

• Рекомендуется использовать учебники и ресурсы для углубленного изучения темы.  

• Регрессионные методы часто оказываются более эффективными в задачах массового прогнозирования.