BAGGING, СЛУЧАЙНЫЙ ЛЕС, РАЗЛОЖЕНИЕ ОШИБКИ НА СМЕЩЕНИЕ (BIAS) И РАЗБРОС (VARIANCE). полная лекция

• Бэггинг использует несколько базовых моделей для решения сложных задач.  

• Каждая базовая модель обучается на измененной выборке.  

• Финальное предсказание получается путем усреднения предсказаний всех моделей.  

• Ошибка состоит из шума, смещения и разброса.  

• Шум — естественная характеристика данных, с которой ничего нельзя поделать.  

• Смещение показывает, насколько ответы моделей близки к истине.  

• Разброс — вариативность ответов моделей.  

• Обучаем десять моделей на десяти подвыборках.  

• Добавляем шум для вариативности ответов.  

• Визуализируем предсказания деревьев решений.  

• Высокий разброс показывает, что модели сильно отличаются.  

• Усреднение предсказаний дает закон, близкий к истине, что указывает на низкое смещение.  

• Обучаем десять линейных регрессий на десяти подвыборках.  

• Визуализируем предсказания линейных регрессий.  

• Все предсказания почти одинаковые, что указывает на низкий разброс.  

• Усреднение предсказаний дает прямую линию, что указывает на высокое смещение.  

• Шум — неизбежная характеристика данных.  

• Смещение и разброс можно изменять.  

• Деревья решений имеют низкое смещение и высокий разброс.  

• Линейная регрессия имеет низкое смещение и высокий разброс.  

• В ансамбле моделей смещение остается низким, если оно было низким у базовой модели.  

• Бэггинг уменьшает разброс в композиции моделей.  

• Корреляция между базовыми алгоритмами снижает эффективность.  

• Бэггинг использует бустрапированные подвыборки для обучения моделей.  

• Метод случайных подпространств генерирует случайные признаки для обучения моделей.  

• Оба подхода снижают корреляцию между базовыми алгоритмами для уменьшения разброса.  

• Ансамбли позволяют снижать смещение и разброс моделей.  

• Корреляция между базовыми моделями может быть снижена с помощью бутстрепа и случайных подпространств.  

• Эти подходы можно комбинировать для создания случайного леса.  

• Случайный лес использует случайные подмножества объектов и признаков.  

• Каждое дерево решений обучается на разных подвыборках и подпространствах признаков.  

• Рекомендации по количеству признаков для классификации и регрессии.  

• Импорт необходимых библиотек и генерация обучающей выборки.  

• Создание функции для генерации случайных подвыборок.  

• Генерация случайных подпространств признаков для снижения корреляции.  

• Создание классов для узлов и листьев дерева решений.  

• Хранение индексов признаков и пороговых значений.  

• Подсчет количества объектов каждого класса и вычисление предсказаний.  

• Использование критериев Джини и энтропии для классификации.  

• Расчет прироста информации для выбора лучшего вопроса.  

• Проверка успешности разбиения с помощью критерия Джини.  

• Запуск обхода по всем потенциальным вопросам и разбиениям.  

• Нахождение самого лучшего критерия информативности.  

• Выбор случайных признаков для классификации.  

• Нахождение уникальных значений признаков.  

• Разбиение на левую и правую веточки.  

• Подсчет прироста информации и перезапись лучшего условия.  

• Функция для построения дерева решений.  

• Поиск лучшего разбиения и выход на правую веточку.  

• Возвращение узла с ссылками на поддеревья.  

• Функция для создания случайного леса.  

• Обучение деревьев на данных и целевых значениях.  

• Добавление деревьев в массив леса.  

• Функция для предсказания одного объекта.  

• Проверка соответствия объекта условию узла.  

• Рекурсия до конечного узла или ложной ветки.  

• Функция для предсказания на всем массиве.  

• Классификация объектов и добавление предсказаний в список.  

• Голосование по предсказаниям деревьев.  

• Разделение данных на 70% для обучения и 30% для теста.  

• Подсчет успешности работы моделей с помощью метрики accuracy.  

• Сравнение моделей по метрике accuracy.  

• Обучение случайного леса из одного дерева.  

• Предсказание на обучающей и тестовой выборках.  

• Метрики качества работы модели.  

• Обучение случайного леса из трех деревьев.  

• Предсказание на обучающей и тестовой выборках.  

• Метрики качества работы модели.  

• Обучение случайного леса из 50 деревьев.  

• Предсказание на обучающей и тестовой выборках.  

• Метрики качества работы модели.  

• Реализация случайного леса для регрессии.  

• Замена критерия информативности на MSE или MAE.  

• Усреднение вместо голосования для регрессии.  

•   

• Обсуждение параметров случайного леса, таких как количество деревьев и их глубина.  

• Рекомендация начинать с количества алгоритмов и затем настраивать глубину.  

• Подход к настройке параметров для минимизации переобучения.  

• Связь уверенности модели с голосованием деревьев.  

• Пример расчета вероятности класса на основе голосования деревьев.  

• Преимущества случайного леса: параллельность и меньшее переобучение.  

• Возможность использования бэкинга для улучшения моделей.  

• Примеры реализации бэкинга и бустинга в Scikit-learn.  

• Описание различных бустингов: XGBoost, CatBoost.  

• Преимущества CatBoost: работа с категориальными признаками и текстами.  

• Основные шаги предобработки: очистка пропусков, удаление выбросов, генерация признаков.  

• Масштабирование данных: нормализация и стандартизация.  

• Балансировка классов: подходы undersampling и oversampling.  

• Призыв задавать вопросы в чате.  

• Благодарность за участие и прощание.