МО: Задача классификации: Логистическая регрессия и SVM

• Логистическая регрессия - метод классификации, который предсказывает значение целевого признака (категориальный признак с конечным числом значений) на основе значений нецелевых признаков (числовые признаки).  

• Задача классификации - разделить наблюдения на два класса, используя линейную комбинацию значений нецелевых признаков и свободный член.  

• Функция логистической регрессии - сигмоидальная функция, которая позволяет оценить вероятность принадлежности к определенному классу.  

• Задача логистической регрессии - найти коэффициенты и свободный член, которые наилучшим образом разделяют наблюдения на два класса.  

• Логистическая регрессия на плоскости - уравнение прямой, разделяющей оранжевые и зеленые точки.  

• Логистическая регрессия в трехмерном пространстве - уравнение гиперплоскости, разделяющей оранжевые и зеленые точки.  

• В видео объясняется, как использовать градиентный спуск для нахождения оптимального вектора весов в задаче линейной регрессии.  

• Градиентный спуск - это итеративный метод, который использует градиент функции потерь для изменения вектора весов.  

• В видео демонстрируется, как реализовать градиентный спуск на примере задачи линейной регрессии.  

• Обсуждаются различные параметры градиентного спуска, такие как количество итераций и коэффициент лернинг крейт.  

• В видео показывается, как можно визуализировать результаты градиентного спуска, используя список значений целевой функции на каждой итерации.  

• Обсуждается важность использования критериев ранней остановки для определения момента завершения градиентного спуска.  

• Видео объясняет, как использовать коэффициенты из вектора для построения прямой линии, которая отделяет оранжевые точки от синих.  

• Коэффициенты при нецелевых признаках могут указывать на важность признака в принятии решений.  

• Можно использовать библиотечный метод для получения вероятностей принадлежности к классам.  

• Коэффициенты и интерцепт можно визуализировать и сравнить с результатами библиотечного метода.  

• Задача предсказать пол человека по весу, росту и возрасту.  

• Разделение данных на обучающую и тестовую выборки.  

• Важность масштабирования данных для обеспечения честной борьбы между признаками.  

• В видео объясняется, как использовать логистическую регрессию для решения задачи классификации.  

• Логистическая регрессия позволяет предсказывать вероятность принадлежности к одному из двух классов.  

• Важно сравнить предсказания модели с истинными ответами на тестовой выборке.  

• Различные метрики качества могут использоваться для оценки модели, такие как точность, матрица ошибок, пресижен и рекол.  

• В примере с сотовым оператором, пресижен может быть важнее, так как он означает, что почти все звонки будут результативными, в то время как прикол означает, что почти все потенциальные клиенты будут обзвонены.  

• Обсуждаются метрики точности и полноты для классификации, их взаимосвязь и влияние на прибыль.  

• Рассматривается использование метрики площади под кривой ROC (AUC) для оценки качества модели.  

• Обсуждается проблема несбалансированности данных, когда в обучающей выборке много объектов одного класса, а в тестовой - другого.  

• Предлагается использовать стратификацию для сохранения пропорций классов в обучающей и тестовой выборках.  

• Рассматривается применение метрик и стратификации для логистической регрессии.  

• Обсуждается важность сохранения пропорций классов в обучающей и тестовой выборках для оценки качества модели.  

• В логистической регрессии используется параметр "альфа", который отвечает за коэффициент регулирования.  

• Можно использовать разные нормы для регулирования, например, "один норм" или "эль два норм".  

• Подбор гиперпараметров осуществляется путем подбора нескольких возможных значений и сравнения качества модели на разных комбинациях.  

• Кросс-валидация используется для более стабильного подбора параметров и уменьшения зависимости от случайного разделения данных на обучающую и тестовую выборки.  

• В кросс-валидации данные делятся на пять частей, каждая из которых используется для обучения алгоритма, а оставшаяся часть - для тестирования.  

• В итоге получается пять алгоритмов, которые обучаются на разных данных и затем усредняются для получения итоговой модели.  

• В высшем пилотаже сначала проводится кросс-валидация на обучающей выборке, а затем отдельно тестируются данные, которые не использовались для подбора параметров.  

• Это позволяет получить более точные результаты и оценить качество модели в реальных условиях.  

• В видео обсуждаются различные методы и подходы к анализу данных, включая использование кросс-валидации для определения оптимальных параметров модели и использование метода фит для обучения модели.  

• Также обсуждаются различные способы представления результатов кросс-валидации, включая использование сиви резалс для просмотра значений параметров и результатов на всех плитах кросс-валидации.  

• В этой части видео обсуждаются данные о выживших пассажирах Титаника, включая подготовку данных, определение доли выживших и анализ шансов выживания для различных категорий пассажиров.  

• Также обсуждаются способы представления данных, включая использование гистограмм для визуализации распределения данных.  

• В этой части видео обсуждается использование модели для анализа данных, включая кодирование категориальных признаков и удаление не числовых признаков.  

• Также рассматриваются результаты использования модели после очистки данных и заполнения пропущенных значений.  

• В датасете Титаника есть обращения к пассажирам, которые могут быть использованы для определения их категории.  

• Например, обращение "мистер" может указывать на мужчину, "миссис" - на женщину, "мастер" - на ребенка.  

• Используя эти обращения, можно вычислить средний возраст каждой категории пассажиров.  

• В случае с Титаником, кодирование категориальных признаков может быть выполнено с помощью ван хо инкодера и гет дамис в пандас библиотеке.  

• Это позволяет закодировать три класса пассажиров (первый, второй, третий) в три признака с нулями и единицами.  

• Метод опорных векторов (SVM) - это метод классификации, который добавляет к логистической регрессии требование, чтобы гиперплоскость была оптимальной с точки зрения разделения объектов на два класса.  

• Основная идея SVM - максимизировать зазор между классами, чтобы увеличить точность классификации.  

• SVM использует геометрию для определения точек в пространстве и ассоциирует каждую точку с вектором из начала координат.  

• Линейная регрессия - метод, который пытается найти линейную гиперплоскость, разделяющую выборку на классы.  

• Метод опорных векторов (SVM) - более сложный метод, который пытается найти оптимальную гиперплоскость, минимизирующую ошибки и максимизирующую зазор между классами.  

• SVM может быть использован для решения задач классификации и регрессии, а также для работы с большими выборками и пространствами с большим количеством признаков.  

• Ядровые переходы - это использование ядровых функций для преобразования признаков, что позволяет использовать более сложные функции для разделения выборки.  

• Подбор параметров SVM включает в себя выбор регуляризации, кросс-валидацию и подбор ядровых параметров.  

• SVM успешно используется для распознавания лиц на изображениях.  

• Для визуализации результатов можно использовать косинусное расстояние между усредненными векторами изображений.  

• Определение косинусного сходства для пар людей на основе данных.  

• Использование сплит для разделения данных и стратификации по людям.  

• Подбор параметров для логистической регрессии: радиальный кернул, полиномиальная и сигмоидная трансформация, гамма и ф один скор.  

• Применение метода главных компонент для уменьшения размерности данных.  

• Подбор параметров на основе ста семидесяти четырех признаков.  

• Применение логистической регрессии для классификации данных.  

• Работа с признаками: размер семьи, возраст, обращения.  

• Использование блока сплит для разделения данных на основе имени человека.  

• Замена строковых данных на обращения с помощью блока реплейс.  

• Восстановление пропущенных значений с помощью функции.  

• В видео рассказывается о том, как использовать RapidMiner для обработки данных, включая кодирование категориальных признаков и обучение модели алгоритма.  

• В конце видео автор упоминает, что все эти действия можно выполнить с помощью RapidMiner, не прибегая к использованию кастомных модулей.  

• Автор отмечает, что в RapidMiner нет возможности визуализации результатов, поэтому для этого можно использовать Python.  

• Он также упоминает, что некоторые компании используют RapidMiner вместе с Python для обработки данных и визуализации результатов.  

• Автор рассказывает о том, как использовать Python для дополнительных изысканий, включая скачивание данных в CSV-файлы и обработку данных с помощью Python.  

• Он подчеркивает, что большинство инструментов, используемых в RapidMiner, могут быть расширены с помощью Python.