Лекция 10. Основы регрессионного анализа. Линейная регрессия, теорема Гаусса-Маркова

• Регрессионный анализ - сложная тема, важная для многих курсов.  

• Основы регрессионного анализа включают базовые модели для решения задач обучения.  

• Регрессия не связана напрямую с математическим аппаратом, а с практической задачей.  

• Пример: исследование роста населения Швеции показало уменьшение роста мужского населения.  

• Регрессионный анализ описывает статистические связи в виде математических функций.  

• Цель - выявить и описать причинно-следственные связи между факторами и целевым признаком.  

• Аналитическая функция имеет безусловную привязку, регрессия - нет.  

• Регрессионные модели ближе к экономическим и социальным наукам, но также применяются в физике, биологии и медицине.  

• В регрессии всегда присутствует случайная ошибка, которая отражает влияние случайных факторов.  

• Ошибка помогает минимизировать влияние неизвестных факторов и улучшить модель.  

• Классическая множественная линейная регрессия - базовая модель для высокотехнологичной регрессии.  

• Модель представляет собой линейную комбинацию факторов, включая свободный коэффициент.  

• Для множественной линейной регрессии существуют важные предпосылки и теорема.  

• Теорема не будет доказана, но ее формулировка важна для статистического моделирования.  

• Теорема Маркова состоит из посылок и вывода.  

• Регрессионная модель должна быть специфицирована.  

• Спецификация включает выбор формы модели и факторов.  

• Спецификация модели включает выбор формы и факторов.  

• Важно учитывать корреляцию факторов с объектом.  

• Спецификация может быть нерешаемой задачей, но важно стремиться к хорошему решению.  

• Идентификация оценивает параметры модели.  

• Валидация проверяет работоспособность модели.  

• Использование модели включает получение оценок целевого показателя.  

• Факторы должны быть независимыми и детерминированными.  

• Независимость означает отсутствие статистической или функциональной связи между факторами.  

• Детерминированность означает, что факторы являются характеристиками систематических процессов.  

• Важно учитывать зависимость факторов при создании модели.  

• Для студентов бакалавриата рекомендуется введение в математическое ожидание компонентов.  

• Рассматривается случайная компонента в модели.  

• Система уравнений описывает множество значений Y и X.  

• Уравнения должны быть сбалансированы для всех элементов системы.  

• Ошибки могут принимать разные значения, чтобы система была сбалансированной.  

• Ошибки считаются случайными и несмещенными относительно центра координат.  

• Модель учитывает основные факторы, влияющие на значения.  

• Дисперсия для всех компонентов модели считается постоянной.  

• Это утверждение не всегда верно, и существуют модели, где оно нарушается.  

• Обобщенная линейная модель позволяет работать с такими моделями.  

• Ошибки для каждого уравнения считаются независимыми.  

• Закон распределения ошибок неизвестен, но часто предполагается нормальное распределение.  

• В некоторых случаях ошибки могут быть зависимыми, что требует специальных процедур.  

• Оценка вариации не может быть получена для истинного значения.  

• Ошибки одной модели для разных наблюдений могут быть разными.  

• Независимость ошибок означает, что они не влияют друг на друга в разных наблюдениях.  

• Если все пять предпосылок выполняются, то модель считается адекватной.  

• Оценки коэффициентов модели зависят от выполнения этих предпосылок.  

• Коэффициенты регрессионной модели используются для значений.  

• Параметры могут быть у закона распределения.  

• Оценки коэффициентов регрессионной модели получены по определенным методам.  

• Эффективные оценки имеют наименьшую дисперсию.  

• Дисперсия характеризует разброс оценок относительно истинного значения параметра.  

• Метод наименьших квадратов дает оценки с наименьшей системной ошибкой.  

• Теорема Маркова утверждает, что оценки наименьших квадратов имеют наименьшую системную ошибку.  

• Для идентификации регрессионной модели необходимо изучить метод наименьших квадратов.