Нормалды! или Как Приручить Хаос в Данных

• Обсуждение нестандартных распределений данных в реальном мире.  

• Цель лекции: подготовка данных для машинного обучения.  

• Представление лектора: Илья Елисеев.  

• Ссылка на IPNB-файл и архив с данными в первом комментарии.  

• Призыв поставить лайк и подписаться на канал.  

• Равномерное распределение: редкое, часто встречается в идентификаторах баз данных и периодических данных.  

• Нормальное распределение: часто встречается, подходит под центральную предельную теорему.  

• Логнормальное распределение: данные могут быть приведены к нормальному распределению путём логарифмирования.  

• Синтез данных с помощью функций uniform, normal и lognormal.  

• Построение гистограмм для равномерного, нормального и логнормального распределений.  

• Равномерное распределение: идентификаторы баз данных, периодические данные, синтетические данные.  

• Нормальное распределение: пробег грузового автомобиля, количество минут телефонных разговоров, количество снятий в банкоматах.  

• Логнормальное распределение: доходы физических и юридических лиц, лайки в соцсетях, количество отзывов на бизнесы.  

• Загрузка данных: отзывы на бизнесы из Yellow Page, данные по оттоку абонентов, кредитный скоринг, охваты моделей Playboy.  

• Анализ распределений: количество отзывов, количество голосовых сообщений, доход, охваты моделей Playboy.  

• Большой разброс данных и выбросы.  

• Несколько мод в распределении.  

• Необходимость обработки выбросов, масштабирования данных, выполнения степенных преобразований и квантилизации.  

• Два классических подхода: z-оценка и правило QT.  

• Формула z-оценки: значение минус среднее по всему признаку, делённое на средний квадратичный разброс.  

• Правило QT: нижняя граница — первый квартал минус 1,5 межквартильного интервала, верхняя граница — третий квартал плюс 1,5 межквартильного интервала.  

• Функция Plot Outliers для визуализации выбросов.  

• Пример с данными журнала Playboy: по z-оценке 7 девушек, по правилу QT — одна девушка.  

• Визуализация данных по количеству обзоров и инкому.  

• График практически весь красный, что указывает на большой процент выбросов.  

• Review Count и Income имеют нормальное распределение, но Z-Score и T-Test не дают хорошей оценки выбросов.  

• Выбросы в количестве голосовых сообщений из датасета «Отток абонента» отрицательны, что невозможно.  

• Boxplot показывает межквартильный интервал, границы по правилу Тьюки и выбросы.  

• Пример с данными журнала Playboy: данные близки к нормальному распределению.  

• Для данных, не похожих на нормальное распределение, Boxplot менее информативен.  

• Нормализация не приводит данные к нормальному распределению, а нормирует вектор.  

• Данные из реального мира имеют разные единицы измерения и масштаб, что ухудшает работу алгоритмов.  

• Масштабирование необходимо для поиска ближайших соседей, кластерного анализа и линейных моделей.  

• Используются четыре метода: min-max шкалирование, L2 нормализация, стандартное шкалирование и рабасное шкалирование.  

• Методы применяются унифицированно ко всему датасету.  

• Деревья решений не требуют масштабирования данных, главное — избавиться от выбросов.  

• Датасет Ириса Фишера используется для классификации ирисов по трём классам.  

• Min-max шкалирование: минимальное значение становится 0, максимальное — 1.  

• После min-max шкалирования данные равномерно распределены в диапазоне от 0 до 1.  

• L2 нормализация делит каждый вектор на его собственную норму, равную единице.  

• Уничтожает информацию о масштабе данных относительно друг друга.  

• Подходит для задач анализа текстов, но не рекомендуется для других задач.  

• Стандартное шкалирование: вычитание среднего значения и деление на дисперсию.  

• Рабасное шкалирование: использование медианы и межквартильного размаха.  

• Оба метода сохраняют масштаб данных относительно друг друга и не влияют на распределение данных.  

• Пример с признаком «инком»: исходный разброс от 0 до 10^6, после стандартного шкалирования — от -0,5 до 10^3, после рабасного шкалирования — от -1,5 до 520.  

• Масштабирование значительно уменьшает размах данных.  

• Построение гистограммы количества обзоров на бизнес из Yellow Page с дефолтными настройками.  

• Анализ распределения данных: белое поле, длинный хвост справа, похожее на логнормальное распределение.  

• Использование логарифмического масштаба по оси Y для улучшения визуализации.  

• Логарифмирование по оси X для сжатия диапазона данных.  

• Настройка количества столбиков гистограммы для улучшения видимости распределения.  

• Пример с 100 столбиками: явный пик и увеличение величины распределения.  

• Распределение голосовых сообщений имеет две моды: ноль и около 30.  

• Изменение масштаба по Y и логарифмирование по X для лучшего анализа.  

• Применение логарифмирования для изменения характера распределения данных.  

• Логарифмирование по основанию 10, 2 или экспоненте.  

• Оригинальное распределение доходов в логарифмированной шкале.  

• После логарифмирования распределение становится более нормальным, появляется возможность оценки по Z-Score.  

• Box Cox работает только с положительными данными, EO Johnson — с нулевыми и отрицательными.  

• Примеры применения Box Cox и EO Johnson на данных дохода и количества обзоров.  

• Дискретные данные не позволяют получить нормальное распределение после преобразований.  

• Преобразования создают отдельные столбики, которые могут быть восприняты как симметрия, но не как нормальное распределение.  

• Призыв к зрителям делиться своими результатами после применения степенных преобразований и логарифмирования.  

• Квантилизация позволяет преобразовать непрерывные данные в категориальные.  

• Цель — добиться равномерного распределения или распределения, похожего на колокол Гаусса.  

• Пример с датасетом Critical Scoring и признаком Income.  

• Удаление пропусков в одном серии и заполнение их медианой в другом.  

• Формирование категорий по доходу с помощью функции pandas.cut.  

• Визуализация результатов с помощью гистограммы.  

• Гистограмма показывает неравномерное распределение данных.  

• Необходимость более математически выверенного подхода.  

• Использование функции quantile из Pandas для вычисления квантилей.  

• Построение гистограммы для данных с децилями.  

• Получение равномерного распределения после квантилизации.  

• Формирование 10 категорий.  

• Функция QCAT позволяет указать количество корзин квантили.  

• Визуализация данных показывает идеальное равномерное распределение.  

• Возможность оценки влияния признаков на результирующий признак.  

• Гистограмма показывает «средний палец» из-за замены пропусков медианой.  

• Возможные альтернативы: обнуление или присвоение случайного значения.  

• Увеличение количества категорий до 100 и 1000.  

• Алгоритм пытается выровнять повторяющиеся значения.  

• Возможность задания целевого распределения: нормальное или равномерное.  

• Применение к количеству отзывов и доходу.  

• Получение равномерного распределения для дохода.  

• Нет универсальных рецептов для работы с данными.  

• Необходимость индивидуального подхода в зависимости от задачи.  

• Призыв к обратной связи и подписке на телеграм-канал.