#38. Построение решающих деревьев жадным алгоритмом ID3 | Машинное обучение

• Сергей Балакирев продолжает курс по машинному обучению.  

• Рассматриваются критерии выбора предикатов для разбиения данных в вершинах решающего дерева.  

• Основные критерии: информативность и информационный выигрыш.  

• Используется обучающая выборка из 150 объектов трех классов ирисов.  

• Признаки: длина и ширина лепестков.  

• Рассматривается алгоритм ID3, разработанный Россом Куинланом.  

• ID3 использует энтропию как информативность и жадную стратегию.  

• В каждой вершине дерева максимизируется информационный выигрыш.  

• Пример построения решающего дерева для классификации цветов ириса.  

• Построение дерева с максимальной глубиной 4 уровня.  

• Разбиение по второму признаку и порогу 2.45.  

• Формирование листовой вершины при энтропии равной нулю.  

• Пример задачи с распределением объектов в углах квадрата.  

• Сжатый алгоритм ID3 может не давать оптимального разбиения.  

• ID3 является основой для более сложных подходов.  

• Формирование листовой вершины при энтропии равной нулю.  

• Другие критерии: число объектов в вершине, вероятность правильной классификации, максимальное количество листьев, максимальная глубина дерева.  

• Использование нескольких критериев для улучшения обобщающей способности дерева.  

• Достоинства: интерпретируемость, простота классификации, обработка разнотипных данных и пропусков.  

• Недостатки: сложность структуры дерева, переобучение, чувствительность к шумам.  

• На следующем занятии будет рассмотрена методика усечения переобученных деревьев.