Корреляционно-регрессионный анализ многомерных данных в Excel

• Рассматривается задача анализа многомерных данных.  

• Даны результаты измерений пяти величин.  

• Величины X рассматриваются как факторные переменные, Y - как результативная переменная.  

• Цель - исследовать связь между Y и X.  

• Задачи: понять влияние X на Y и предложить формулу для расчета Y.  

• Формула должна быть точной для прогнозирования значений Y.  

• Первичная обработка данных: фильтрация, выявление взаимосвязей.  

• Отбор переменных X для модели.  

• Получение и проверка адекватности регрессионной модели.  

• Использование встроенных инструментов Excel и надстройки "Анализ данных".  

• Excel имеет хороший набор инструментов и простой интерфейс.  

• Проверка однородности данных по каждой переменной.  

• Выявление выбросов и их влияние на анализ.  

• Выбросы могут быть ошибками или уникальными случаями.  

• Построение графиков для выявления выбросов.  

• Использование условного форматирования для цветового выделения выбросов.  

• Исключение выбросов для улучшения модели.  

• Расчет минимального, максимального, среднего значений и стандартного отклонения.  

• Анализ асимметрии и медианы для характеристики распределения данных.  

• Применение описательной статистики для анализа данных.  

• Среднеквадратическое отклонение показывает разброс значений.  

• Гистограммы распределения помогают визуализировать данные.  

• Описательная статистика доступна в надстройке "Анализ данных".  

• Разбиваем данные на интервалы с помощью формулы Стерджеса.  

• Определяем границы интервалов и частоты попаданий.  

• Гистограмма строится в ячейке с условным форматированием.  

• Гистограммы помогают понять распределение данных.  

• Можно использовать спарклайны для визуализации.  

• Гистограммы показывают пики, впадины и распределение данных.  

• Использование инструмента "Гистограмма" в "Анализе данных".  

• Результаты совпадают с гистограммами, построенными вручную.  

• Рассчитываем коэффициент корреляции для анализа связей между переменными.  

• Корреляционная матрица показывает силу связи между переменными.  

• Условное форматирование помогает визуализировать значения.  

• Сильная связь между переменными называется мультиколлинеарностью.  

• Исключаем переменные с сильной связью для улучшения модели.  

• Пример: исключение переменной, слабо влияющей на зависимую переменную.  

• Составляем линейную модель для предсказания зависимой переменной.  

• Используем функцию "Линейный" для расчета коэффициентов.  

• Мультиколлинеарность приводит к неустойчивости решения.  

• Оцениваем точность модели, вводя расчетную переменную.  

• Средняя погрешность модели составляет 4.5%, максимальная - 10.5%.  

• Модель показывает приемлемую точность.  

• Исключаем переменную икс-три из корреляционной матрицы.  

• Переходим к множественной линейной регрессии, оставляя только значимые переменные.  

• Используем анализ данных для получения уравнения регрессии.  

• Получаем коэффициенты уравнения а0, а2, а4.  

• Рассчитываем расчетное значение игрек и ошибку.  

• Ошибка составляет 5%, средняя 10.9%, максимальная 11.9%.  

• Нормированный R-квадрат показывает, насколько изменения игрек объясняются изменениями иксов.  

• Значимость показывает вероятность ошибки первого рода.  

• Чем меньше значение значимости, тем лучше.  

• Упрощаем модель, исключая коэффициент при икс-четыре.  

• Оба оставшихся коэффициента а0 и а2 статистически значимы.  

• Модель дает ошибку 5.2% и 11.1% соответственно.  

• График остатков показывает равномерное распределение, что указывает на отсутствие необходимости в нелинейной регрессии.  

• Линейная регрессия дает приемлемую ошибку.  

• Исходные данные подвержены разбросу, поэтому идеальное совпадение невозможно.  

• Данные включают целые числа икс-три и икс-четыре, принимающие значения 0 и 1.  

• Корреляция показывает, что икс-три и икс-четыре сильно влияют на игрек.  

• Линейная модель с икс-три и икс-четыре может быть составлена, но другие переменные слабо влияют.  

• Проверка мультиколлинеарности: значения не близки к минус единице или единице.  

• Построение линейной регрессии с участием переменных x3 и x4.  

• Результаты расчета: коэффициенты a0, a3, a4.  

• Формула для расчета y с использованием x3 и x4.  

• Ошибка модели: 1500%, что неприемлемо.  

• Значимость уравнения: p-значение 0.74, но ошибка слишком высокая.  

• Линейная модель не подходит, нужно искать нелинейную.  

• Введение дополнительных переменных для учета комбинаций x1, x2, x3, x4.  

• Уравнение для Excel остается линейным.  

• Исключение незначимых коэффициентов с p-значением меньше 0.05.  

• Оставление четырех значимых коэффициентов.  

• Повторный расчет с использованием только этих переменных.  

• Все коэффициенты остаются статистически значимыми.  

• Средняя ошибка модели: 2.2%, максимальная: 218%.  

• Возможность исключения выбросов из расчета.  

• Обработка данных и корреляционный анализ.  

• Получение уравнений регрессии: сначала линейное, затем нелинейное.  

• Завершение занятия.