ROC-AUC, ROC-CURVE, ROC-КРИВАЯ | МЕТРИКИ КЛАССИФИКАЦИИ

• Рок-Аук - метрика для бинарной классификации, основанная на матрице ошибок и метриках пресижен и рекол.  

• Рок-Аук учитывает вероятности принадлежности к классам и отсечку, которая определяет, какие объекты относятся к какому классу.  

• Рок-Аук визуализируется как кривая, состоящая из точек с разными отсечками.  

• Идеальная Рок-Аук проходит через точку ноль-ноль, где фолс-пости фрейд и труп-позити фрейд равны нулю.  

• Рок-Аук строится на тестовой выборке, где предсказанные вероятности и истинные целевые значения сортируются по вероятности.  

• Идеальная Рок-Аук не может быть построена на реальных данных из-за ошибок ложного пропуска и ложного срабатывания.  

• В видео обсуждается построение рок-кривой, которая представляет собой кривую, построенную на разных отсечках и подсчитанных значениях метрик FPR и TPR.  

• Кривая начинается в точке (0,0) и заканчивается в точке (1,1).  

• Идеальная ситуация - это точка (0,1) с идеальными значениями FPR и TPR, но такое не всегда возможно на реальных задачах.  

• Метрика площади под кривой ROC (ROC AUC) изменяется от 0 до 1.  

• В идеале, когда метрика равна 1, кривая проходит через точку (0,1).  

• Эти метрики могут быть рассчитаны только для задач бинарной классификации, где мы оперируем вероятностями быть или не быть целевым классом.  

• Однако существуют подходы для решения задач многоклассовой классификации, такие как OVR и OVA.  

• В следующих видео будет обсуждаться использование этих подходов для расчета метрик для задач с большим количеством классов.