Машинное обучение 1, лекция 10 — бэггинг и случайные леса, градиентный бустинг

• В видео обсуждается разложение ошибки метода обучения на три компонента: шум, смещение и разброс.  

• Шум - это свойство данных, не зависящее от модели и метода обучения.  

• Смещение показывает, насколько сложная модель может приблизить истинную зависимость данных.  

• Разброс показывает, насколько модель чувствительна к данным.  

• На примере данных с одним признаком показывается, как разложение ошибки может помочь в построении хороших композиций.  

• Усредненная модель имеет высокое смещение и низкое разброс, что делает ее не очень хорошей.  

• Конкретная модель имеет низкое смещение и низкий разброс, но не очень хорошо приближает истинную зависимость данных.  

• Видео обсуждает деревья глубины, которые представляют собой модели, обученные на подвыборках обучающей выборки.  

• Средняя модель фиолетовая, но она не идеально приближает истинную закономерность, и разброс может быть больше, чем у линейных моделей.  

• Обсуждается идея усреднения моделей, где каждая синяя кривая представляет собой композицию, усреднение множества деревьев.  

• Усреднение моделей может уменьшить разброс, но не всегда уменьшает смещение.  

• Усреднение может быть полезным для уменьшения разброса, но не всегда уменьшает смещение.  

• Бэггинг - это метод обучения, который использует множество базовых моделей, обученных на разных подвыборках, и усредняет их для получения итоговой модели.  

• Бэггинг уменьшает смещение и разброс итоговой модели, но не меняет ее смещение, если базовые модели были смещенными.  

• Разброс показывает, насколько модель чувствительна к обучающей выборке и склонна к переобучению.  

• Разброс - это показатель того, насколько модель склонна к переобучению.  

• В бэггинге разброс уменьшается, но не исчезает полностью.  

• В видео обсуждается, как ошибки моделей могут быть связаны с их базовыми моделями.  

• Если базовые модели имеют низкое смещение, то и ошибка модели будет низкой.  

• Для уменьшения разброса ошибок, нужно избавиться от слагаемого, которое зависит от икса.  

• Базовые модели должны быть не коррелированными и иметь низкое смещение.  

• В качестве базовых моделей можно использовать глубокие деревья, так как они имеют низкое смещение.  

• Вариант 1: обучать не на всех объектах, но это уже делается с помощью бутстрапа.  

• Вариант 2: обучать не на всех признаках, но это может привести к потере важных признаков и увеличению смещения.  

• Вариант 3: делать рандом по признакам при построении каждой вершины в дереве, что может повысить разнообразие базовых моделей.  

• В видео обсуждается метод случайного леса, который ограничивает выбор признаков подмножеством признаков.  

• Этот метод называется случайный лес (Random Forest) и используется для классификации и оценки композиции.  

• Вместо усреднения, в случайном лесу используется голосование по большинству для определения лучшего предиката.  

• В случайном лесу строится множество моделей, пока в каждом листе не окажется мало объектов.  

• При выборе лучшего предиката, выбирается случайное подмножество признаков, а не самый лучший признак.  

• В случае с регрессией, модели усредняются, а в случае с классификацией - проводится голосование по большинству.  

• Единственный гиперпараметр случайного леса - это число моделей (n).  

• Выбор n большого не требует тщательного подбора, так как кривая ошибки на тесте обычно убывает, а затем выходит на симптом.  

• Это означает, что переобучения не происходит по мере роста n.  

• Случайный лес медленно обучается из-за необходимости строить глубокие деревья.  

• Если одно дерево плохо подходит для задачи, смещение будет высоким во всей композиции.  

• Случайный лес не очень хорошо справляется с экстраполяцией данных.  

• Аутов-бэк - это метод оценки качества модели на обучающей выборке без использования тестовой выборки.  

• Фичи им потенс - метод оценки важности признаков для модели.  

• Градиентный бустинг - это метод обучения моделей, где каждая модель обучается на основе предыдущих моделей.  

• Аналогия с экзаменом: вместо обучения через бэггинг, где каждый студент решает задачи самостоятельно, используется бустинг, где один студент изучает весь курс, а затем голосует с другими студентами.  

• В градиентном бустинге, студенты последовательно обучаются, корректируя ошибки предыдущих студентов.  

• Идея градиентного бустинга заключается в том, чтобы каждая следующая модель корректировала ошибки предыдущих моделей.  

• В общем случае, функция потерь должна быть дифференцируемой.  

• Для обучения энной модели, нужно решить задачу минимизации функции потерь.  

• Сдвиги определяются как частные производные функции потерь по второму аргументу в точке, равной сумме базовых моделей.  

• Обучение базовой модели происходит на основе сдвигов, чтобы минимизировать функцию потерь.  

• В следующих семинарах будут обсуждаться подробности градиентного бустинга и его применение к решающим деревьям.  

• Будут рассмотрены продвинутые варианты градиентного бустинга.