Прогнозирование цен на жилье на Python - Проект полного машинного обучения

• Видео посвящено полному анализу данных, включая изучение набора данных, предварительную обработку, разработку пользовательских функций, обучение модели и оценку её работы.  

• Видео предназначено для начинающих в области науки о данных и машинного обучения, а также для тех, кто интересуется этими темами.  

• Для работы потребуется рабочая среда IPython Notebook, например, Jupyter Notebook, Jupyter Lab или IPython Notebook в VS Code или PyCharm.  

• Важно использовать IPython Notebook для удобства выполнения различных этапов процесса обработки данных.  

• Необходимы библиотеки: numpy, pandas, matplotlib, seaborn, scikit-learn.  

• Набор данных для анализа: данные о ценах на жилье в Калифорнии от Kaggle.  

• Цель: предсказать среднюю стоимость дома на основе различных характеристик.  

• Загрузка данных в формате CSV и их анализ.  

• Импорт необходимых библиотек: pandas, numpy, matplotlib, seaborn, scikit-learn.  

• Обзор данных: координаты, средний возраст, количество комнат и т.д.  

• Удаление значений NaN и разделение данных на обучающие и тестовые наборы.  

• Использование функции sklearn.model_selection.train_test_split для разделения данных.  

• Подготовка данных для обучения и тестирования.  

• Объединение обучающих и тестовых данных для анализа корреляции.  

• Подготовка данных для дальнейшего анализа и настройки гиперпараметров.  

• Обучение данных и создание гистограмм для распределения признаков.  

• Использование тепловой карты для визуализации корреляционной матрицы.  

• Корреляция признаков с целевой переменной, например, средний доход в квартале.  

• Логарифмирование искаженных функций для улучшения распределения.  

• Использование логарифма для общего количества комнат, спален и численности населения.  

• Преобразование категориальных признаков в двоичные значения.  

• Построение точечной фигуры для визуализации близости к океану и средней стоимости дома.  

• Дома на побережье стоят дороже, чем в глубине страны.  

• Объединение существующих функций для создания новых, например, соотношение спален.  

• Введение функции "бытовые помещения" для учета количества комнат в каждом доме.  

• Корреляция новых функций с целевой переменной, например, соотношение спален и стоимость дома.  

• Исключение функций с низкой корреляцией для улучшения модели.  

• Обучение простой линейной регрессии с использованием sklearn.linear_model.  

• Разделение данных на исходные и новые функции.  

• Добавление новых функций к тестовым данным для оценки модели.  

• Повторное разделение данных на x и y.  

• Масштабирование данных для линейной регрессии.  

• Настройка гиперпараметров для регрессора случайного леса.  

• Оценка модели на тестовых данных.  

• Копирование и вставка данных для тестовых данных.  

• Проверка соответствия форматов данных.  

• Проблемы с отсутствием столбцов в тестовых данных.  

• Повторное копирование и вставка данных.  

• Проверка наличия всех столбцов в тестовых данных.  

• Оценка модели на тестовых данных.  

• Масштабирование данных для регрессора случайного леса.  

• Использование стандартного скаляра для масштабирования данных.  

• Оценка модели после масштабирования данных.  

• Использование sklearn для настройки гиперпараметров.  

• Создание регрессора случайного леса и его оценка.  

• Использование перекрестной проверки для поиска оптимальных параметров.  

• Импорт функций для поиска по сетке.  

• Определение сетки параметров для перекрестной проверки.  

• Оценка модели с использованием наилучших гиперпараметров.  

• Проверка оптимальных гиперпараметров для регрессора случайного леса.  

• Оценка результатов с использованием наилучших параметров.  

• Применение оптимальных гиперпараметров для производственных данных.  

• Оценка леса по баллам и x-тестам.  

• Возможные улучшения через изменение значений в таблице параметров.  

• Пример: изменение значения n_estimators с 30 до 50 или 100.  

• Значение по умолчанию для n_estimators в регрессоре случайного леса - 100.  

• Оптимальное значение может быть максимальным или минимальным.  

• Пример: оптимальное значение n_estimators равно 100, что лучше, чем 30.  

• Изменение значений n_estimators на 100, 200, 300.  

• Настройка минимального разделения сэмплов и максимальной глубины дерева.  

• Пример: минимальное разделение сэмплов равно двум, но можно указать четыре или восемь.  

• Поиск по сетке занял много времени.  

• Оптимальная модель: n_estimators = 200.  

• Оценка по x-тестам и y-тестам: 81,435%.  

• Проект по машинному обучению и анализу данных на Python.  

• Возможность использования различных моделей и функций.  

• Призыв к подписке на канал и оставлению комментариев.