Тренировки по ML. Лекция 5: Градиентный бустинг, тонкости обучения

• Приветствие и представление ведущего Радослава Нече.  

• Обзор темы: градиентный бустинг, его историческое значение и влияние на нейронные сети.  

• Упоминание о предыдущих занятиях и их содержании.  

• Случайный лес как основа для градиентного бустинга.  

• Описание метода случайных подпространств и его преимуществ.  

• Универсальность случайного леса для различных задач классификации, регрессии и детекции аномалий.  

• Объяснение аут-бэк оценки и её влияния на итоговую ошибку.  

• Параллельное и последовательное подключение моделей в машинном обучении.  

• Пример с выборкой фиолетовых и желтых точек для демонстрации линейной неразделимости.  

• Использование решающих деревьев для решения задач классификации.  

• Пример с деревьями глубиной один для разделения данных.  

• Применение решающих деревьев для корректного решения задач.  

• Рассматривается, как провести решающий пень для снижения энтропии.  

• Предлагается эвристика: увеличивать вклад ошибки на объекте в итоговую функцию потерь.  

• Ошибки на правильно классифицированных объектах учитываются с меньшим весом, на неправильно классифицированных — с большим.  

• Построение второго решающего пня с учетом весов ошибок.  

• Проводится прямая, разделяющая объекты на фиолетовые и желтые.  

• Линейная комбинация решающих пней создает не линейную разделяющую поверхность.  

• Объяснение адаптивного бустинга и его алгоритма.  

• Рассматриваются различные функции потерь: квадратичный лос, хин лос, логистическая функция потерь и экспоненциальная функция потерь.  

• Экспоненциальная функция потерь используется для перевзвешивания объектов в зависимости от ошибки.  

• Адаптивный бустинг как частный случай градиентного бустинга.  

• Обсуждение различных бустингов и их функций потерь.  

• Вопрос о целесообразности использования экспоненциальной функции потерь и её особенностях.  

• Объяснение параметра "т" в формуле модели.  

• Модель фт большая - это сумма т больших моделей.  

• Вес модели ро т - это просто вес этой модели.  

• Экспоненциальная функция потерь может привести к взрыву ошибки.  

• Вес модели можно вывести за 10 секунд.  

• Экспонента от отступа может быть разбита на два слагаемых.  

• Вес на текущем шаге - это результат предыдущих шагов.  

• Ингредиентный бустинг - сложная тема.  

• Важно понимать, что это не страшно.  

• Основная задача - минимизировать функцию потерь по всем возможным данным.  

• Минимизация функции потерь по обучающей выборке.  

• Использование параметрического семейства моделей.  

• Поиск оптимальных параметров для задачи.  

• Градиентный спуск для параметрических моделей.  

• Использование функционального пространства для отображения моделей.  

• Применение градиентного спуска для построения ансамбля.  

• Взвешенная сумма моделей как антиградиент функции потерь.  

• Оценка антиградиента функции потерь по предсказаниям.  

• Использование модели для аппроксимации антиградиента.  

• Поиск направления наименьшего убывания функции ошибки.  

• Применение градиентного спуска к предсказаниям моделей.  

• Продифференцирование функции потерь по предсказаниям.  

• На шаге т обучаем отображение из икса в антиградиент ошибки.  

• Антиградиент ошибки используется для приближения и добавления в общий ансамбль.  

• Переход от дифференцируемой функции ошибки к среднеквадратичной ошибке.  

• Переход от задачи классификации к задаче регрессии.  

• Антиградиент ошибки предсказывается как число или вектор.  

• Оптимальное значение параметров и добавление модели в ансамбль.  

• Градиентный бустинг работает с дифференцируемыми функциями потерь.  

• Демонстрация работы градиентного бустинга на примере двумерного синуса.  

• Увеличение глубины дерева улучшает аппроксимацию.  

• Одно дерево в одиночку работает неэффективно.  

• Ансамбль деревьев, объединенных градиентным бустингом, улучшает результаты.  

• Объединение сто деревьев глубины два дает результат, сравнимый с одним деревом глубины шесть.  

• Деревья глубины 3 описывают поверхность практически идеально.  

• Глубина 4 и 5 также дают почти идеальное описание.  

• Глубина 6 деревьев описывает поверхность с минимальной ошибкой.  

• Ансамбль моделей строится как линейная комбинация.  

• В случае линейной регрессии среднеквадратичная ошибка дифференцируема.  

• Построение каждого дерева включает шаг индукции.  

• Первое дерево в ансамбле сглаживает поверхность.  

• Взвешенная сумма деревьев может иметь особые веса.  

• Антиградиент функции ошибки показывает отклонения между предсказаниями и истинными значениями.  

• Добавление деревьев уменьшает ошибки в центре и увеличивает их на краях.  

• Деревья глубиной 3 описывают зависимость с небольшими ошибками.  

• Деревья глубиной 4 и выше уменьшают ошибки до минимума.  

• В градиентном бустинге каждая модель опирается на предыдущие.  

• Понимание одной модели без ансамбля не имеет смысла.  

• Ансамбль моделей аппроксимирует антиградиент функции ошибки.  

• Ансамбль строится на основе производной по предсказаниям.  

• Итеративный градиентный спуск используется для улучшения предсказаний.  

• Методы второго порядка сложны для многомерных задач.  

• Градиентный бустинг рекомендуется для изучения.  

• Переход к следующему примеру без визуальных элементов.  

• Ответы на вопросы зрителей.  

• Аргумент минимума argmin возвращает аргумент, который доставляет минимум функции потерь.  

• Мин возвращает значение, которое достигает функции потерь при этих аргументах.  

• Пример: argmax возвращает имя человека с наивысшим баллом, а макс возвращает сам балл.  

• Градиентный бустинг GBM использует регрессионные базовые модели.  

• GBM работает с дифференцируемыми функциями потерь, включая экспоненциальную функцию потерь.  

• Вопрос о количестве деревьев глубины k: чем больше деревьев, тем лучше, но важно не переобучать модель.  

• Можно добавить идеи из Random Forest для улучшения обобщения модели.  

• В качестве базового алгоритма можно использовать любую модель, включая Random Forest.  

• Вопрос о применении GBM к логистическим и линейным регрессиям.  

• Методы регуляризации можно применять к GBM, как и к деревьям.  

• Выбор гиперпараметров, таких как количество деревьев и их глубина, осуществляется через процедуру валидации.  

• Практика показывает, что лучше использовать много простых моделей, чем мало сложных.  

• Каждая следующая модель учится на антиградиенте функции ошибки предыдущего ансамбля.  

• На каждом объекте апроксимируется антиградиент, а затем модель учится апроксимировать антиградиент по всей выборке.  

• Можно использовать разные модели на каждом шаге, но это не всегда улучшает результат.  

• Пример из статьи "Прогрессивный бустинг" на открытом курсе машинного обучения.  

• Используется игрушечный датасет с одним признаком икс и косинусом плюс шум.  

• Функция ошибки - среднеквадратичная, градиент - линейная функция отклонения.  

• Используются решающие деревья глубиной два и числом итераций три.  

• Гиперпараметры фиксируются заранее, но можно постепенно наращивать их размер.  

• Ансамбль начинается со среднего значения.  

• Первое дерево описывает отклонение от ансамбля.  

• Второе дерево добавляет кусочную постоянную функцию.  

• Третье дерево завершает апроксимацию косинуса.  

• Градиентный бустинг эффективен при наличии параллельных вычислителей.  

• В отличие от случайного леса, градиентный бустинг требует последовательного обучения.  

• Переобучение может быть проблемой, поэтому важно контролировать сложность ансамбля.  

• Ошибка раскладывается на смещение и разброс шума.  

• Линейная модель может быть смещенной, но простой и с малым количеством параметров.  

• Высокий разброс указывает на нестабильность модели при изменении выборки.  

• Решающие деревья обладают высоким разбросом и неустойчивы к изменениям выборки.  

• Это свойство используется для улучшения предсказаний через переобучение на разных выборках.  

• Усреднение предсказаний может снизить ошибку, но не всегда в разы.  

• Высокий байесовский риск BAYES означает, что модель может переобучиться под данные.  

• Высокий байесовский риск BAYES и низкий байесовский риск BAYES указывают на простоту модели.  

• Сложные модели имеют низкий байесовский риск BAYES, но высокий байесовский риск BAYES.  

• Байесовский риск BAYES и байесовская уверенность BAYES важны в классических моделях и небольших нейронных сетях.  

• Простые модели устойчивы к изменениям данных, но не могут точно описать целевую переменную.  

• Сложные модели могут точно описать целевую переменную, но подвержены изменениям данных.  

• Шум в данных влияет на предсказания модели.  

• Итоговая ошибка модели складывается из байесовского риска BAYES, байесовской уверенности BAYES и шума.  

• Линейные модели имеют высокий байесовский риск BAYES и низкий байесовский риск BAYES.  

• Переобучение происходит, когда модель запоминает все данные и не может адаптироваться к новым данным.  

• Сложные модели сначала уменьшают ошибку на новых данных, но затем начинают переобучаться.  

• Переобучение происходит из-за случайностей в обучающей выборке.  

• Линейная комбинация моделей со слабо скоррелированными ошибками снижает ошибку.  

• Дисперсия суммы независимых случайных величин меньше, чем дисперсия каждой модели.  

• Усреднение ошибок моделей уменьшает их дисперсию и снижает итоговую ошибку.  

• Линейное ожидание суммы моделей равно сумме ожиданий.  

• Градиентный бустинг повышает сложность ансамбля, но снижает ошибку.  

• Случайный лес борется с ошибками через снижение варенса, а градиентный бустинг - через снижение ошибки.  

• Градиентный бустинг постепенно улучшает модель, а случайный лес усредняет модели с высоким варенсом.  

• Случайный лес имеет большую вероятность переобучения, но в среднем попадает в нужную точку.  

• Важно понимать, что ошибка состоит из нескольких компонентов.  

• Ансамбли применяются для линейных моделей, а не для деревьев.  

• Линейные модели не требуют упрощения, но сложные модели можно усреднять для улучшения.  

• Линейная комбинация линейных моделей дает линейную модель, что не всегда оптимально.  

• Логистические регрессии не являются линейными, что позволяет строить ансамбли.  

• Градиентный бустинг с логистическими регрессиями может быть полезен.  

• Важно понимать, что происходит в модели, а не просто зазубривать определения.  

• В случае переобучения модель нужно заменить на менее переобученную.  

• В градиентном бустинге можно вытягивать элементы из ансамбля для улучшения.  

• Валидация помогает контролировать переобучение, но увеличивает объем данных для обучения.  

• Избежать переобучения бустинга сложно, но можно бороться с ним.  

• Использование базовых моделей, таких как случайный лес, помогает улучшить качество.  

• Линейная комбинация признаков не всегда эффективна, особенно если признаки не меняются.  

• Градиентный бустинг остается актуальным и устойчивым алгоритмом.  

• Нейронные сети могут быть интерпретируемыми, но менее понятны, чем деревья.  

• Ансамбли можно строить параллельно и последовательно, что улучшает результаты.  

• Нейронные сети продолжают классические алгоритмы, предлагая непрерывное обучение.  

• Вопросы о стейкинге будут рассмотрены в других лекциях и вебинарах.  

• Бустинг и стейкинг - сложные темы, требующие отдельного обсуждения.  

• План изначально был ориентирован на сферический вакуум, но адаптируется под вопросы и темп слушателей.  

• Нейронные сети могут быть эффективнее градиентного бустинга на маленьких датасетах, особенно если данные принадлежат общему домену.  

• Пример: BERT показывает отличные результаты на маленьких датасетах, превосходя классические методы.  

• Нейронные сети требуют большого объема данных для обучения.  

• На определенных доменах, таких как изображения, нейронные сети могут переиспользовать знания из больших объемов данных.  

• Борьба с переобучением: лучше начинать с простых моделей и постепенно усложнять их, чем наоборот.  

• Байесовский подход позволяет строить модели даже по одному наблюдению.  

• Лекции Дмитрия Ветрова доступны на онлайн-платформах и рекомендованы для изучения.  

• Градиентный бустинг проще обучить, но нейросети могут показать сопоставимые результаты при той же вычислительной сложности.  

• В новых задачах нейронные сети могут быть менее эффективными, но на практике большинство задач пересекаются с другими задачами.  

• Прунинг можно делать только на последнем дереве в бусинге, иначе это ухудшает оценку антиградиента.  

• Прунинг предыдущих деревьев может быть сложным и не всегда адекватным.  

• Обсуждение градиентного спуска в пространстве отображений и бустинга.  

• В следующем занятии будут обсуждаться интересные темы и новые домашние задания.