Введение в нейронные сети #3. Нормализация данных.

• Рассматривается тема нормализации и её применение.  

• Пример использования датасета с площадки Kaggle.  

• Цель - определить длительность поездки на такси в Нью-Йорке.  

• Описание данных о поездках на такси.  

• Основные поля: время посадки и высадки пассажира, количество пассажиров, долгота и широта.  

• Целевая переменная - длительность поездки.  

• Важность фильтрации данных для работы модели в будущем.  

• Разделение датасета на две выборки: для тренировки и для предсказания.  

• Исключение данных о высадке пассажира для логичности модели.  

• Сортировка данных по времени посадки.  

• Исключение данных о высадке для предотвращения логичных предсказаний.  

• Разделение датасета на два интервала: до 700 тысяч и от 700 тысяч до 900 тысяч.  

• Построение гистограммы для анализа целевой переменной.  

• Обнаружение выбросов и ненормальных значений.  

• Решение проблемы с помощью логарифма.  

• Добавление логарифмированной целевой переменной к датафрейму.  

• Разделение датафрейма на тренировочную и тестовую выборки.  

• Важность разделения данных для предотвращения ошибок.  

• Использование библиотеки Seaborn для рисования графиков.  

• Анализ количества поездок в разные дни и часы.  

• Выявление сезонных закономерностей.  

• Определение признаков для модели.  

• Использование даты и времени для создания простой модели.  

• Подготовка данных для обучения и тестирования модели.  

• Проверка размерности выборок.  

• Убедительная проверка совпадения размерностей.  

• Готовность к обучению модели.  

• Ключевая тема лекции - нормализация данных.  

• Рассматриваются признаки день и час, которые представлены числами от 0 до 23.  

• Проблема умножения чисел на числа от 0 до 23 для модели линейной регрессии.  

• Модель линейной регрессии умножает веса на переменные.  

• Проблема в том, что числа от 0 до 23 не являются интовскими переменными.  

• Модель не учитывает, что после 23 идет 0, что делает предсказания неточными.  

• Для построения модели нужна матрица X и Y.  

• Использование библиотеки Scikit-learn для обучения модели.  

• Обучение модели с помощью функций fit и predict.  

• Использование метрики MSE для оценки качества модели.  

• Импорт метрик из библиотеки и их применение.  

• Пример использования метрики MSE для оценки предсказаний модели.  

• Модель обучена плохо из-за использования логарифма и неправильных признаков.  

• Коэффициенты модели показывают, что она не может хорошо учиться на текущих данных.  

• Необходимость нормализации данных для улучшения качества модели.  

• Нормализация приводит данные к виду от нуля до единицы.  

• Пример: данные 548 и 3 становятся 0.8 и 0.1 соответственно.  

• Это полезно для дальнейшего анализа и обучения моделей.  

• Деление на максимальное число: 548 делится на 548, что приводит к числам от нуля до единицы.  

• Нормализация из теории вероятности: график нормального распределения.  

• Применение нормализации из библиотек, таких как scipy.  

• Ван-Хоудинг используется для данных, которые не являются целыми числами.  

• Пример: часы и дни недели.  

• Преобразование данных в матрицу с множеством параметров.  

• Использование библиотеки для применения Ван-Хоудинга.  

• Пример: преобразование данных с помощью функции hot_encode.  

• Обучение модели на данных с множеством параметров.  

• Использование метрики для проверки модели.  

• Различие между икс-трейном и икс-тестом.  

• Важность разделения выборок на тренировочные и тестовые.  

• Анализ коэффициентов модели.  

• Странные коэффициенты и их влияние на модель.  

• Введение в тему нормализации и переобучения.  

• Применение нормализации для улучшения модели.  

• Пример с такси и улучшение метрики.  

• Нормализация как бесплатный способ улучшения модели.  

• Нормализация данных в промежутке от нуля до единицы.  

• Влияние нормализации на проверку модели.  

• Примеры и объяснения из теории вероятности.  

• Z-нормализация и ван хотен кодинг.  

• Применение нормализации ко всем числам.  

• Разбиение признаков для улучшения модели.  

• Практика с метриками и функциями.  

• Домашнее задание для закрепления материала.  

• Пример задания на библиотеку и обучение модели.