Лекция 12. Boosting. Gradient boosting machine. Ключевые параметры модели

• В видео обсуждаются основные шаги в распознавании и регрессии, включая расщепление выборки на обучающую, тестовую и валидационную части, обучение модели на тестовом множестве, сравнение критериев качества и проверку на тестовом множестве.  

• Упоминается, что в случае большого количества данных может быть добавлена выборка валидации.  

• Градиентный бустинг - это метод, который использует деревья классификации для ускорения алгоритма.  

• Он позволяет оптимизировать процесс обучения и сократить время на обучение машины.  

• Градиентный бустинг был предложен Фридманом в двух статьях, которые доступны в интернете.  

• В градиентном бустинге модель последовательно усложняется, начиная с слабых классификаторов и заканчивая их суммой.  

• Это напоминает ряды Тейлора, где функция аппроксимируется с помощью разложения в ряд.  

• В итоге, модель становится все более сложной, но при этом остается последовательной и понятной.  

• В видео объясняется, что алгоритм Boosting решает сложную задачу классификации с помощью комбинации плохих классификаторов.  

• Это позволяет из плохих материалов сделать хорошую вещь.  

• В видео описывается, как алгоритм Boosting работает с функцией потерь и как строится модель для результата дифференцирования.  

• Также объясняется, что в качестве функции потерь может быть выбрана сумма квадратов ошибок.  

• В видео обсуждается, как алгоритм Boosting оптимизируется с помощью численного метода, такого как скорейший спуск.  

• Это позволяет улучшить качество классификации.  

• В видео подчеркивается, что алгоритм Boosting может быть использован с другими критериями качества, такими как сумма модулей ошибок.  

• Это позволяет улучшить результаты классификации.  

• В видео обсуждается метод максимального правдоподобия, который используется для оценки параметров распределения случайной величины.  

• Этот метод основан на предположении, что наблюдаемые данные являются наиболее вероятными, и на поиске параметров, которые максимизируют вероятность этих данных.  

• В видео приводятся примеры применения метода максимального правдоподобия для оценки параметров различных распределений, включая нормальное, биномиальное и лапласовское.  

• Обсуждаются критерии качества, которые могут быть использованы для выбора оптимального распределения.  

• В видео обсуждается алгоритм градиентного бустинга, который является универсальным и может быть использован для различных задач.  

• Он основан на методе максимального правдоподобия и обобщении, которое позволяет улучшить результаты.  

• В видео приводится пример использования градиентного бустинга для решения задачи распознавания пола пользователя в интернете.  

• Модель выдает значения типа 030, 50, 69000, которые могут быть интерпретированы как вероятность быть единицей.  

• Для этого используется процедура калибровки, которая преобразует эти числа в вероятность.  

• В видео обсуждаются вопросы анкеты, имена столбцов и переменных, а также преобразование переменной "доход" в бинарную переменную.  

• Затем происходит очистка данных от пропусков и создание бинарных переменных.  

• Создаются бинарные переменные для каждой страны, из которой приехали родители.  

• Затем данные разделяются на обучающую и тестовую выборки.  

• Обсуждаются рекомендации по настройке параметров модели, включая количество деревьев, максимальную глубину дерева и форму умножения.  

• Также упоминается использование датчика случайных чисел для обучения модели.