Нормалды! или Как Приручить Хаос в Данных

• Обсуждение нестандартных распределений данных в реальном мире.  

• Цель лекции: подготовка данных для машинного обучения.  

• Представление лектора: Илья Елисеев.  

• Ссылка на IPNB-файл и архив с данными в первом комментарии.  

• Призыв поставить лайк и подписаться на канал.  

• Равномерное распределение: редкое, часто встречается в идентификаторах баз данных и периодических данных.  

• Нормальное распределение: часто встречается, подходит под центральную предельную теорему.  

• Логнормальное распределение: данные могут быть приведены к нормальному распределению путём логарифмирования.  

• Синтез данных с помощью функций uniform, normal и lognormal.  

• Построение гистограмм для равномерного, нормального и логнормального распределений.  

• Равномерное распределение: идентификаторы баз данных, периодические данные, синтетические данные.  

• Нормальное распределение: пробег грузового автомобиля, количество минут телефонных разговоров, количество снятий в банкоматах.  

• Логнормальное распределение: доходы физических и юридических лиц, лайки в соцсетях, количество отзывов на бизнесы.  

• Загрузка данных: отзывы на бизнесы из Yellow Page, данные по оттоку абонентов, кредитный скоринг, охваты моделей Playboy.  

• Анализ распределений: количество отзывов, количество голосовых сообщений, доход, охваты моделей Playboy.  

• Большой разброс данных и выбросы.  

• Несколько мод в распределении.  

• Необходимость обработки выбросов, масштабирования данных, выполнения степенных преобразований и квантилизации.  

• Два классических подхода: z-оценка и правило QT.  

• Формула z-оценки: значение минус среднее по всему признаку, делённое на средний квадратичный разброс.  

• Правило QT: нижняя граница — первый квартал минус 1,5 межквартильного интервала, верхняя граница — третий квартал плюс 1,5 межквартильного интервала.  

• Функция Plot Outliers для визуализации выбросов.  

• Пример с данными журнала Playboy: по z-оценке 7 девушек, по правилу QT — одна девушка.  

• Визуализация данных по количеству обзоров и инкому.  

• График практически весь красный, что указывает на большой процент выбросов.  

• Review Count и Income имеют нормальное распределение, но Z-Score и T-Test не дают хорошей оценки выбросов.  

• Выбросы в количестве голосовых сообщений из датасета «Отток абонента» отрицательны, что невозможно.  

• Boxplot показывает межквартильный интервал, границы по правилу Тьюки и выбросы.  

• Пример с данными журнала Playboy: данные близки к нормальному распределению.  

• Для данных, не похожих на нормальное распределение, Boxplot менее информативен.  

• Нормализация не приводит данные к нормальному распределению, а нормирует вектор.  

• Данные из реального мира имеют разные единицы измерения и масштаб, что ухудшает работу алгоритмов.  

• Масштабирование необходимо для поиска ближайших соседей, кластерного анализа и линейных моделей.  

• Используются четыре метода: min-max шкалирование, L2 нормализация, стандартное шкалирование и рабасное шкалирование.  

• Методы применяются унифицированно ко всему датасету.  

• Деревья решений не требуют масштабирования данных, главное — избавиться от выбросов.  

• Датасет Ириса Фишера используется для классификации ирисов по трём классам.  

• Min-max шкалирование: минимальное значение становится 0, максимальное — 1.  

• После min-max шкалирования данные равномерно распределены в диапазоне от 0 до 1.  

• L2 нормализация делит каждый вектор на его собственную норму, равную единице.  

• Уничтожает информацию о масштабе данных относительно друг друга.  

• Подходит для задач анализа текстов, но не рекомендуется для других задач.  

• Стандартное шкалирование: вычитание среднего значения и деление на дисперсию.  

• Рабасное шкалирование: использование медианы и межквартильного размаха.  

• Оба метода сохраняют масштаб данных относительно друг друга и не влияют на распределение данных.  

• Пример с признаком «инком»: исходный разброс от 0 до 10^6, после стандартного шкалирования — от -0,5 до 10^3, после рабасного шкалирования — от -1,5 до 520.  

• Масштабирование значительно уменьшает размах данных.