Первичная обработка (очистка) данных

• Очистка данных необходима для моделей машинного обучения и других математических моделей.  

• Очистка включает поиск и удаление дубликатов, обработку отсутствующих значений и выбросов.  

• Работа будет проводиться в среде Google Colab.  

• Используются данные с сайта Kaggle о продажах автомобилей.  

• Импортируются необходимые модули: pandas, scipy, matplotlib, seaborn, sci-kit learn.  

• Данные читаются и анализируются с помощью pandas.  

• Дубликаты могут быть результатом человеческой ошибки или слияния данных.  

• Проверка наличия дубликатов с помощью метода duplicate.  

• Удаление дубликатов с помощью метода drop_duplicates.  

• Отсутствующие значения могут быть результатом сбоев или отказов респондентов.  

• Поиск и обработка пропусков с помощью метода isnull.  

• Визуализация пропусков с помощью тепловой карты.  

• Удаление строк с пропусками по принципу "все или ничего".  

• Создание нового датафрейма с помощью метода dropna.  

• Потеря полезной информации при удалении строк с пропусками.  

• Удаление строк с более чем допустимым количеством пропусков.  

• Создание нового датафрейма с помощью метода sum.  

• Удаление строк с большим количеством пропусков для улучшения качества данных.  

• Удаление строк с плохими данными.  

• Переопределение датафрейма с условием.  

• Уменьшение размерности датафрейма с 157 до 154 строк.  

• Проверка тепловой карты.  

• Удаление строк с более чем одним выбросом.  

• Оставшиеся желтые значения остаются, но плохие значения удалены.  

• Заполнение пустот нулями или константами.  

• Проблема искажения информации при использовании нулей.  

• Альтернативные значения для не числовых данных.  

• Заполнение средними значениями по столбцу.  

• Проблема чувствительности к выбросам.  

• Использование медианы для не числовых значений.  

• Метод k ближайших соседей для заполнения пустот.  

• Определение наиболее похожих объектов.  

• Использование среднего значения признаков у ближайших объектов.  

• Подготовка датафрейма для метода k ближайших соседей.  

• Удаление текстовых значений.  

• Применение метода k ближайших соседей для заполнения пустот.  

• Проверка обновленных значений в датафрейме.  

• Перезапись столбцов с пропущенными значениями.  

• Проверка отсутствия пропущенных значений после применения метода k ближайших соседей.  

• Выброс - это точка данных, значительно отличающаяся от остальной части набора данных.  

• Причины выбросов: ошибки измерения, человеческий фактор, ошибки ввода данных.  

• Выбросы могут быть уникальными явлениями, такими как редкие спортсмены или мошеннические транзакции.  

• Алгоритм действий: обнаружить выбросы и что-то с ними сделать.  

• Пример: зависимость мощности двигателя от его объема.  

• Использование точечного графика для выявления аномалий.  

• Ящик с усами показывает средний и вертикальный размах данных.  

• Удаление выбросов с помощью фильтра.  

• Построение ящика с усами для оставшихся данных.  

• Определение границ ящика с усами по межквартильному размаху.  

• Вычисление координат усов.  

• Подозрительные точки и их анализ.  

• Использование метода инфо для определения числовых признаков.  

• Стандартизация данных для выравнивания шкал.  

• Построение ящиков с усами для стандартизованных данных.  

• Аномальные точки могут не иметь экстремальных значений.  

• Методы кластеризации помогают выявить различные аномалии данных.  

• Примеры использования кластерного анализа для обнаружения выбросов.  

• Пример с двумя столбцами: ширина и длина автомобиля.  

• Построение точечного графика для анализа данных.  

• Стандартизация данных для исключения влияния размерности.  

• Описание метода DBSCAN для поиска аномалий.  

• Три вида точек: основные, периферийные и аномальные.  

• Объединение точек в кластеры и выявление аномалий.  

• Определение объекта DBSCAN и настройка параметров.  

• Применение метода к стандартизованным данным.  

• Выявление аномалий и их визуализация.  

• Изменение настроек метода для выявления аномалий.  

• Влияние расстояния на количество кластеров и аномалий.  

• Настройка гиперпараметров для лучшего выявления выбросов.  

• Применение метода к стандартизованным данным всего датасета.  

• Выявление аномальных строк и создание нового столбца с метками.  

• Примеры аномальных автомобилей и их характеристики.  

• Выбросы портят математические модели и снижают их прогностическую способность.  

• Пример с линейной регрессией и влияние выброса на модель.  

• Сравнение моделей с выбросом и без него.  

• Варианты обработки выбросов: проверка, опустошение значения, отделение от основного набора данных.  

• Пример обработки выброса в данных о мощности автомобиля.  

• Изменение значений после обработки выброса.  

• Используем метод ближайших соседей для импутации недостающего значения.  

• Находим пять автомобилей, наиболее похожих на Cadillac Escalade.  

• Загоняем в импьютер только численное значение, а не весь исходный дата-фрейм.  

• Пересоздаем дата-фрейм заново.  

• Сравниваем исходное и новое значения.  

• Значение 254.2 было импутировано в ячейку.  

• Метод ближайших соседей позволяет точно восстанавливать исходное значение.  

• Убеждаемся, что в таблице нет пустых значений.  

• Получаем очищенный датасет.