Основы машинного обучения, лекция 4 — линейная регрессия

• Обсуждение метода k ближайших соседей и его концепций.  

• Введение в линейные модели, их преимущества и применение.  

• Линейные модели как строительные блоки для нейронных сетей.  

• Линейные модели хорошо изучены с теоретической точки зрения.  

• Отличие подхода к обучению линейных моделей в курсе от классических курсов.  

• Важность градиентного спуска и регуляризации.  

• Пример задачи: предсказание роста человека по его весу.  

• Описание линейной зависимости между весом и ростом.  

• Уравнение прямой на плоскости и его параметры.  

• Параметры a и b в уравнении прямой.  

• Значение параметров a и b для описания прямой.  

• Линейная модель и её свойства.  

• Объяснение термина "линейная модель".  

• Линейный рост прогноза при увеличении признака.  

• Примеры нелинейных моделей и их особенности.  

• История Фрэнсиса Гальтона и его исследований.  

• Пример с доской Гальтона и нормальным распределением.  

• Исследования Гальтона о связи роста сына с ростом отца.  

• Данные показывают рост отца и сына.  

• Проведена прямая через точки, показывающая, что наклон не очень большой.  

• Распределение роста у сыновей схлопывается, приближаясь к среднему росту.  

• Модель остается линейной, даже если увеличивается степень икса.  

• Признаки объявляются новыми, влияющими линейно на прогноз.  

• Формула линейна относительно слагаемых, а не базовых признаков.  

• Модель с двумя признаками становится трехмерной.  

• Модель с д признаками суммирует все признаки с коэффициентами.  

• Параметры модели включают свободный коэффициент и коэффициенты для каждого признака.  

• Вводится понятие скалярного произведения вектора на вектор.  

• Скалярное произведение позволяет компактно записать линейную модель.  

• Модель без свободного коэффициента выглядит как скалярное произведение.  

• Модель не симметрична из-за наличия свободного коэффициента.  

• Если есть признак, всегда равный единице, свободный коэффициент можно исключить.  

• Модель становится симметричной и записывается как скалярное произведение без свободного коэффициента.  

• Обсуждение возможности модификации данных.  

• Пример с признаком "дубль в ноль".  

• Уточнение, что признак "дубль в один" увеличивает количество признаков на единицу.  

• Обсуждение линейных моделей для регрессии.  

• Вопрос о применимости линейных моделей в реальных задачах.  

• Пример с предсказанием продаж товара в магазине.  

• Линейные модели часто показывают плохие результаты без подготовки данных.  

• Пример с парной регрессией и одним признаком.  

• Необходимость адаптации данных для улучшения работы линейных моделей.  

• Пример с тремя признаками: площадь квартиры, район и расстояние до метро.  

• Обсуждение линейной модели для предсказания рыночной стоимости квартиры.  

• Пример с коэффициентом "дубль в один" для площади квартиры.  

• Обсуждение категориальных признаков, таких как район.  

• Пример с категориальным признаком "район".  

• Проблема с линейной зависимостью между ценой квартиры и расстоянием до метро.  

• Введение одно горячего кодирования для категориальных признаков.  

• Пример с районами Москвы.  

• Создание новых признаков для каждого района.  

• Обсуждение разреженных матриц и их эффективного хранения.  

• Пример с квартирами в разных районах Москвы.  

• Логика добавления индикаторов для каждого района в линейную модель.  

• Преимущества одно горячего кодирования для категориальных признаков.  

• Обсуждение порядка кодирования и его влияния на модель.  

• Подведение итогов и ответы на вопросы.  

• Кодирование чисел векторами для оптимизации.  

• Веса подбираются по данным, номера вводятся вручную.  

• Важно учитывать количество параметров при кодировании.  

• Сравнение районов по стоимости квартир.  

• Обсуждение районов с наибольшим и наименьшим весом.  

• Интерпретация отрицательных коэффициентов.  

• Нелинейная зависимость прогноза от расстояния до метро.  

• Разбиение интервала на несколько отрезков.  

• Добавление коэффициентов для каждого интервала.  

• Добавление производных признаков для улучшения модели.  

• Примеры: площадь в квадрате, этаж в квадрате.  

• Линейная модель с новыми признаками.  

• Проблемы интерпретации полиномиальных признаков.  

• Линейная модель для новых признаков.  

• Вопросы о разбиении расстояния до метро на категории.  

• Линейные модели справляются с обратными зависимостями.  

• Добавление отрицательных весов для обратных зависимостей.  

• Примеры с площадью и прогнозом.  

• Вес может быть любым вещественным числом от минус бесконечности до плюс бесконечности.  

• Значимость коэффициента не проверяется на этих занятиях.  

• В роли дубль в ноль часто выступает среднее значение по целевой переменной.  

• Признаки должны быть подготовлены для линейной модели.  

• Можно использовать бинаризацию, полиномиальные признаки и другие методы.  

• Нормирование признаков необходимо, но будет обсуждаться позже.  

• Для удобства программирования и обучения линейных моделей нужно подготовиться.  

• Задача обучения линейной регрессии записывается в векторном виде.  

• Ошибка модели измеряется как квадрат отклонения.  

• Матрица объектов и признаков записывается как таблица с числами.  

• Вектор — это матрица с одним столбцом или строкой.  

• Перемножение матриц определяется специфичным образом и соответствует композиции линейных отображений.  

• Перемножаются только матрицы с совпадающими размерностями.  

• Новая матрица заполняется путем скалярного произведения соответствующих элементов.  

• Пример перемножения матриц с размерами 3x2 и 2x3.