15. Clustering

• Приветствие и шутка о бороде.  

• Переход к теме занятия: кластеризация и понижение размерности.  

• Объяснение задачи без учителя.  

• Матрица признаков без меток.  

• Поиск структуры в данных без использования алгоритмов.  

• Обзор трех алгоритмов кластеризации.  

• Первый алгоритм: метод k-средних.  

• Описание метода k-средних.  

• Инициализация центроид.  

• Процесс кластеризации и перемещение центроид.  

• Визуализация работы алгоритма.  

• Примеры неудачной кластеризации.  

• Проблемы с инициализацией количества кластеров.  

• Применение двумерной кластеризации.  

• Определение принадлежности точек к кластерам.  

• Распределение точек на границе кластеров.  

• Алгоритм требует указания количества кластеров заранее.  

• В ForS проверяется диапазон кластеров и используется K-Means.  

• Авторизация группирует объекты для нахождения структуры.  

• В sklearn.cluster есть алгоритмы кластеризации.  

• Инициализация центроидов важна для корректной работы.  

• K-Means Plus Plus использует случайную инициализацию для улучшения результатов.  

• Случайная инициализация может привести к неправильным результатам.  

• Алгоритм усредняет координаты центроидов для улучшения сходимости.  

• Количество итераций и параметр tolerance помогают остановить процесс.  

• Центроиды смещаются в середину своих лагерей.  

• Неудачная инициализация может привести к неправильной классификации.  

• Количество итераций обычно не трогают, так как алгоритм быстро сходится.  

• Алгоритм имеет высокую сложность и требует много времени.  

• Мини-batch помогает справляться с большими объемами данных.  

• В нейросетях мини-batch обязателен для эффективной работы.  

• Плюсы: дешевизна, прозрачность результатов.  

• Минусы: необходимость указания количества кластеров, проблемы с нелинейными данными.  

• Мини-batch увеличивает время сходимости, но улучшает точность.  

• Количество кластеров выбирается в зависимости от задачи.  

• Используется рандомный подход и метрики для подбора оптимального количества.  

• Переход к следующему алгоритму иерархических методов.  

• Агломеративная кластеризация: каждая точка является отдельным кластером, который объединяется до одного кластера.  

• Дивизионная кластеризация: все точки сначала являются одним кластером, который разбивается на группы до уровня отдельных точек.  

• Агломеративная кластеризация более популярна, чем дивизионная.  

• Пример с фруктами: персики и апельсины быстро объединились, яблоки и груши чуть дальше, вишня и виноград близко, клубника и сливы тоже.  

• Оптимальная разделялка: бананы и томаты делят кластеры, что делает дальнейшие соединения дорогими.  

• Пример с координатами: первый элемент соединяется с вторым, расстояние между ними равно двум.  

• Пятая точка соединяется с кластером на уровне пяти с половиной.  

• Остановка алгоритма: можно остановиться на уровне двух или трех кластеров.  

• Проблема интерпретации результатов: математика возвращает кластеры, но их нужно интерпретировать.  

• Агломеративная кластеризация работает по умолчанию с двумя кластерами, но можно задать количество кластеров.  

• Алгоритм чувствителен к количеству элементов и не самый быстрый.  

• Плотностной подход: алгоритм фиксирует элементы в окружности вокруг точки.  

• Важные параметры: радиус окружности и количество соседей.  

• Пример: точка с тремя соседями закрашивается в свой цвет и передает это другим точкам.  

• Крайние точки кластера не имеют достаточного количества соседей для продолжения логики.  

• Алгоритм выделяет такие точки как отдельные классы.  

• Выбросы данных помечаются как отдельные классы с меткой минус один.  

• Алгоритм позволяет находить выбросы данных.  

• Пример с моделью коронавируса для демонстрации работы алгоритма.  

• Кластеризация используется для сегментации данных и улучшения предсказаний.  

• Кластеризация помогает сегментировать данные для различных целей.  

• В медицине кластеризация используется для выделения групп пациентов.  

• В индустрии кластеризация помогает настраивать рекламные кампании и новостные предложения.  

• Кластеризация может помочь в классификации и регрессии.  

• Пример с домами: кластеризация помогает разделить данные на группы по цене.  

• Кластеризация может быть использована для разметки данных, например, телефонных звонков.  

• Кластеры могут быть интерпретированы по разным признакам, таким как цена домов или районы.  

• Важно понимать, что кластеры могут быть интерпретированы по-разному в зависимости от контекста.  

• Кластеры могут быть использованы для улучшения точности прогнозов.  

• Малочисленные кластеры могут смещать вес коэффициента в модели.  

• Рекомендуется включать такие кластеры как фичи для улучшения точности прогноза.  

• Важно учитывать цель алгоритма и удалять данные, которые не соответствуют этой цели.  

• Кластеризация помогает улучшить результаты предсказаний.  

• Важно тестировать идеи на реальных данных и улучшать модели.  

• Кластеризация может существенно улучшить результаты, как это было показано на прошлом курсе.  

• Вопрос о том, как лучше балансировать классовые выборки: по кластеризации или по отношению классов.  

• Ответ: если модель будет работать на всей генеральной совокупности, лучше использовать всю выборку.  

• Если модель будет работать на локальной выборке, можно использовать стратификацию.  

• Понижение параметра eps приводит к выделению выбросов, что ухудшает качество кластеризации.  

• Оптимальное значение eps можно найти экспериментально.  

• Разные алгоритмы кластеризации справляются с разными типами данных по-разному.  

• Разные алгоритмы справляются с разными типами данных: окружное разделение, параболоидное разделение, кластеры с разными дисперсиями, вытянутые закономерности.  

• Мини-бат и спектральная кластеризация показывают хорошие результаты.  

• Время запуска алгоритмов также важно учитывать, особенно при больших выборках.  

• Метрики кластеризации делятся на внешние и внутренние.  

• Внешние метрики используют известное распределение по классам для оценки качества кластеризации.  

• Пример с данными о выживших на "Титанике" для понимания, как считать метрики.  

• Матрица попарного взаимодействия объектов используется для оценки качества кластеризации.  

• Пример с семью элементами выборки и тремя кластерами.  

• Матрица строится на основе попарного взаимодействия признаков.  

• Обсуждение пересечения объектов в кластерах.  

• Пример с выборкой пользователей, которые купили или не купили товар.  

• Определение, попадают ли объекты в один кластер, несмотря на разные классы.  

• Объекты в одном кластере, но с разными классами.  

• Объекты в разных кластерах, но с одним классом.  

• Объекты в одном кластере и одном классе.  

• Обсуждение метрик для оценки качества кластеризации.  

• Метрики помогают понять, насколько кластеры соответствуют классам.  

• Примеры метрик: Rand Index, Jack Index, Precision.  

• Интерпретация метрик Precision и Recall.  

• Влияние неоднородных кластеров на метрики.  

• Важность метрик для оценки эффективности кластеризации и рекомендаций.  

• Модель с плохим престижем может разделить клиентов на пасторы, но не справится с основной задачей.  

• Метрики можно считать по отдельным кластерам для оценки их однородности.  

• Престиж метрики показывает долю справедливых отнесений к классам.  

• Престиж метрики оценивает однородность кластеров.  

• Высокий престиж указывает на чистые кластеры, но это редко встречается.  

• Фолс негатив метрика показывает, насколько сильно разбросал кластеры класс купивших клиентов.  

• Высокий престиж важен для выделения чистых категорий клиентов.  

• Высокий фолс негатив может привести к падению продаж из-за неправильной сегментации.  

• В рекламе важно выделять маленькие аудитории для индивидуальной рекламы.  

• Высокий фолс негатив может затруднить обучение модели классификации.  

• Разметка данных должна быть точной для объективного обучения.  

• Пример с кошкой на фото показывает, как важно, чтобы все точки были в одном кластере.  

• Внешние метрики оценивают гомогенность и полноту кластеров.  

• Внутренние метрики, такие как силуэт, помогают оценить качество кластеризации без разметки данных.  

• Хорошая кластеризация должна формировать группы, которые не перемешиваются в пространстве.  

• Цель: чтобы точки внутри кластера были ближе друг к другу, а точки из другого кластера были дальше.  

• Метрика silhouette score популярна, но имеет свои минусы.  

• Формула: среднее расстояние между фиксированным объектом и объектами другого кластера.  

• Б - среднее расстояние между фиксированным объектом и объектами другого кластера.  

• Цель: чтобы Б было максимальным, чтобы другой кластер был как можно дальше.  

• А - среднее расстояние между фиксированным объектом и остальными объектами в данном кластере.  

• Цель: чтобы А было минимальным, но не нулевым, чтобы кластер не был слишком однородным.  

• В идеале silhouette score стремится к единице, но может быть ближе к нулю.  

• Хороший silhouette score зависит от задачи, но 0.4 - 0.8 - это хорошие значения.  

• Пример: иллюстрация с графиками для разных кластеров.  

• График показывает, как количество кластеров влияет на silhouette score.  

• При двух кластерах silhouette score выше, чем при четырех.  

• При трех кластерах silhouette score может быть отрицательным, что указывает на близость кластеров.  

• Метод локтя: сумма расстояний от своей центроиды.  

• Инерция: сумма расстояний от своей центроиды после обучения.  

• Пример: при одном кластере расстояние большое, при двух кластерах - меньше, при трех кластерах - еще меньше.  

• Метод локтя помогает определить оптимальное количество кластеров.  

• График показывает переломный момент, когда количество кластеров увеличивается.  

• Важно найти баланс между уменьшением расстояния и проникновением внутрь кластера.  

• Можно использовать несколько метрик для оценки качества кластеризации.  

• Важно, чтобы метрики отражали задачу и степень решения.  

• Комбинирование метрик может дать более точный результат.  

• Силуэт скор стремится к единице, но это достижимо только при идеальном кластере.  

• Важно учитывать, что разные метрики могут давать разные результаты.  

• Сравнение нескольких моделей помогает выбрать лучшую.  

• В кластеризации используются различные метрики, такие как гомогенность, пресижен, рекол и другие.  

• Можно создавать свои метрики для оценки качества кластеризации.  

• Важно понимать, что метрики помогают оценить эффективность алгоритма.  

• Алгоритмы, работающие с расстояниями, плохо справляются с большими пространствами.  

• Проклятие размерности усложняет оценку близости точек в пространстве.  

• Понижение размерности помогает улучшить работу алгоритмов.  

• Понижение размерности использует алгоритмы, такие как PCA, для уменьшения количества координат.  

• Это позволяет сохранить информацию о данных и улучшить кластеризацию.  

• Нелинейные алгоритмы понижения размерности также могут быть полезны.  

• Алгоритм TSN сохраняет структуру данных в пониженном пространстве.  

• Это позволяет лучше визуализировать данные и улучшить кластеризацию.  

• Важно учитывать человеческий фактор при выборе данных для кластеризации.  

• Генерация цифр в латентном пространстве.  

• Проблема больших пространств 64D.  

• Решение: понижение размерности перед кластеризацией.  

• Алгоритм UMA для борьбы с проклятием размерности.  

• Понижение размерности с сохранением вероятностной структуры.  

• Пример с точками в пространстве 2D.  

• Сохранение вероятностной структуры при понижении размерности.  

• Пример с точками 1, 2, 3, 4, 5, 6.  

• Проблемы с понижением размерности и новый базис.  

• Ограниченный функционал понижения размерности.  

• Проблемы с большими выборками и потерей вероятности.  

• Метрики для оценки успешности понижения размерности.  

• Выбор размерности для понижения.  

• Метрика дивергенции для оценки качества понижения.  

• Успешная кластеризация как метрика успешного понижения размерности.  

• В TSN и UMAP есть схожие параметры, но они управляют разными аспектами.  

• Коэффициент перплексии в TSN чувствителен к выбору, влияя на локальную или глобальную структуру.  

• В UMAP коэффициент нейборс управляет количеством соседей, с которыми сравниваются данные.  

• Рекомендуемое значение коэффициента перплексии в TSN - от 5 до 50.  

• В UMAP коэффициент нейборс влияет на локальную и глобальную структуру кластеризации.  

• Увеличение количества соседей улучшает глобальную структуру, но увеличивает время вычислений.  

• UMAP требует много времени для вычислений, особенно при большом количестве соседей.  

• Кластеры могут перемещаться, что влияет на результат кластеризации.  

• Важно подбирать метрики для фиксации кластеров и учитывать латентные скрытые представления.  

• Коэффициент нейборс и перплексия управляют одной и той же историей, но в разных шкалах.  

• Чем больше нейборс, тем глобальнее структура, но это увеличивает время вычислений.  

• UMAP - оптимизированный алгоритм, но все равно требует много ресурсов.  

• UMAP подходит для сложных задач, но требует много времени для вычислений.  

• Важно тестировать и подбирать параметры для оптимальной работы.  

• Нет единого правила для выбора количества соседей, нужно экспериментировать и наблюдать за результатами.  

• Кластеризация помогает изучить структуру данных.  

• Алгоритм включает загрузку данных, понижение размерности, кластеризацию и визуализацию результатов.  

• Визуализация может быть в 2D или 3D.  

• В Chaos Pricing гипотеза о понижении размерности до трех компонент и 18 кластеров оказалась успешной.  

• Интерпретация кластеров требует ручной работы и анализа объектов в каждом кластере.  

• В индустрии не всегда стоит тратить 80% усилий на 20% результата.  

• Установка библиотеки YUM и использование YUMpler.  

• Подготовка датасета с данными о пингвинах.  

• Использование числовых параметров для кластеризации.  

• Алгоритмы, основанные на расстояниях, требуют нормировки данных.  

• Нормирование помогает избежать смещения и выбросов.  

• Стандартное масштабирование и его применение.  

• Понижение размерности данных с 4D до 2D.  

• Использование различных методов понижения размерности.  

• Визуализация результатов после понижения размерности.  

• После TSN можно разделить данные на три кластера.  

• Один кластер четко выделяется, но два других вида пингвинов сложно различить.  

• Необходимо экспериментировать с параметрами для улучшения классификации.  

• Писей и ЮМП создали две латентные функции.  

• Первая компонента агрегирует информацию о клюве, вторая - о длине плавника и массе.  

• Интерпретация латентных функций затруднена.  

• Кодировка категориальных данных может быть субъективной и нарушить кластеризацию.  

• Важно учитывать пол пингвина для точной классификации.  

• Можно использовать среднее значение для категориальных данных.  

• Используется агломеративная кластеризация для работы в пониженном пространстве.  

• Важно правильно настроить параметры, чтобы избежать разрывов в цепочке кластеров.  

• Необходимо оптимизировать расстояние между точками для оптимальной кластеризации.  

• Сравнение результатов кластеризации с использованием различных алгоритмов.  

• Важно убедиться в правильности классификации и отсутствии выбросов.  

• Возможность создания ансамблей моделей для улучшения результатов.  

• Некоторые данные могут быть выбросами и не попадать в кластеры.  

• Алгоритм Dscan хорошо подчеркивает выбросы и помогает их идентифицировать.  

• Важно учитывать выбросы при анализе данных.  

• Обсуждение построения сводного графика для анализа данных.  

• Проблемы с отображением графиков и параметров.  

• Важность выбора метрик для оценки результатов.  

• Разные метрики могут давать разные результаты.  

• Пример с метрикой silhouette, которая доминирует при определенных условиях.  

• Влияние количества кластеров на метрику silhouette.  

• Сравнение алгоритмов кластеризации, таких как k-means и agglomerative.  

• Влияние понижения размерности на результаты.  

• Примеры ошибок и правильных разделений кластеров.  

• Важность правильного выбора метрик для оценки алгоритмов.  

• Пример с метрикой accuracy, которая может быть улучшена при изменении количества кластеров.  

• Влияние внешних метрик на результаты.  

• Описание задачи кластеризации данных с датчиков активности человека.  

• Необходимость понижения размерности и создания метрик кластеризации.  

• Важность метрик для оценки эффективности алгоритмов.  

• Выбор метрик как одна из самых важных задач в машинном обучении.  

• Подчеркивание важности метрик для оценки и оптимизации алгоритмов.  

• Пожелания хорошего дня и успешного выполнения задачи.