Лекция ML 04. Линейная регрессия. Переобучение

• В видео рассказывается о том, как решить задачу линейной регрессии без использования математики.  

• Для этого используется библиотека Sklearn, которая содержит множество алгоритмов машинного обучения.  

• Создается обучающая выборка с использованием метода из библиотеки Sklearn.  

• В качестве параметров используются количество примеров, количество признаков, значение шума и значение смещения.  

• Алгоритм градиентного спуска используется для определения коэффициентов линейной функции.  

• Обученная модель используется для предсказания значений на основе обучающей выборки.  

• Визуализация результатов показывает, что предсказанные значения имеют разброс, так как они основаны на линейной модели.  

• Оценка качества предсказания с использованием коэффициента детерминации.  

• Коэффициент детерминации позволяет оценить качество решения и может быть отрицательным, если нет корреляции между предсказанными значениями и действительностью.  

• Масштабирование признаков для улучшения сходимости алгоритма и повышения точности предсказания.  

• Пример использования класса TensorSklearn для масштабирования признаков.  

• Пример генерации данных, описываемых полиномиальной зависимостью, и использования класса PolynomialFeatures для создания модели линейной регрессии.  

• Пример вывода среднеквадратичного отклонения и коэффициента детерминации для оценки качества предсказания.  

• В видео обсуждается проблема машинного обучения, когда модель одинаково плохо работает на обучающей и тестовой выборках.  

• Это называется недообучением или андерфитингом.  

• Если модель хорошо работает на обучающей выборке и плохо на тестовой, то это недообучение.  

• Если модель хорошо работает на обучающей выборке, но плохо на тестовой, то это переобучение.  

• Для решения проблемы недообучения можно увеличить сложность модели, добавить выборку или масштабировать данные.  

• Для решения проблемы переобучения можно уменьшить сложность модели или добавить регуляризацию.  

• Если ошибка на тестовой выборке большая, то это может быть проблемой переобучения или недообучения.  

• Увеличение количества примеров в обучающей выборке может помочь избежать переобучения.  

• Использование меньшего количества признаков также может помочь избежать проблемы переобучения.  

• Добавление дополнительных признаков может помочь избежать проблемы недообучения.  

• Использование большего количества признаков может помочь избежать проблемы недообучения.  

• Использование разных оптимизационных алгоритмов и изменение обучающего коэффициента и коэффициента регуляризации могут помочь решить проблему переобучения.  

• Сложность модели и обучающая кривая могут помочь определить, связана ли проблема с переобучением или недообучением.  

• При увеличении сложности модели, недообученность уменьшается, а способность к обобщению на тестовых данных увеличивается.  

• В лабораторной работе необходимо исследовать обучающую кривую в зависимости от сложности модели и ошибки на тестовых и обучающих данных.