PRECISION, RECALL, CONFUSION MATRIX, ТОЧНОСТЬ, ПОЛНОТА, МАТРИЦА ОШИБОК | МЕТРИКИ КЛАССИФИКАЦИИ

• Метрики машинного обучения помогают оценивать качество моделей.  

• Метрика accuracy имеет проблемы на выборках с дисбалансом классов и не учитывает вес ошибок.  

• Пример с моделью кредитного скоринга: нулевой класс - клиенты, которые не вернут кредит, единичка - клиенты, которые вернут.  

• Первая модель: ложное срабатывание false positive FP - одобрение кредита клиентам, которые его не погасят.  

• Вторая модель: ложный пропуск false negative FN - отказ в кредите клиентам, которые могли бы его выплатить.  

• Истинное срабатывание true positive TP - модель правильно одобряет кредиты.  

• Истинный пропуск true negative TN - модель правильно отказывает в кредите плохим клиентам.  

• Матрица ошибок показывает, как алгоритм предсказывает классы.  

• Визуализация через heatmap помогает лучше понять результаты.  

• Две основные метрики: precision precision и recall recall.  

• Precision измеряет долю истинных срабатываний среди всех срабатываний.  

• Визуализация precision: зеленая полуокружность - true positives, красная - false positives.  

• Пример расчета precision для двух моделей: первая модель - 0.625, вторая модель - 1.0.  

• Вторая модель выигрывает по precision, так как не допускает ложных срабатываний.  

• Полнота отвечает за количество классификаций.  

• Рассчитывается как истинное срабатывание трупозитив на количество объектов целевого класса трупозитив плюс фолс-негатив.  

• Визуализация: зеленая полуокружность, прямоугольник без зеленой полуокружности, весь прямоугольник с объектами целевого класса.  

• Идеальная метрика рекол равна единице, когда нет ложных пропусков фолс-негатив.  

• Первая модель: трупозитив 5, фолс-негатив 0, метрика рекол 1.  

• Вторая модель: трупозитив 2, фолс-негатив 3, метрика рекол 0.4.  

• Первая модель лучше, так как нет ложных пропусков.  

• Вторая модель хуже, так как допускает ошибки ложного пропуска.  

• Выбор модели зависит от стратегии банка: максимизация прибыли или минимизация потерь.  

• Пример: классификация людей на входе на атомную электростанцию.  

• Максимизация пресижен для минимизации ложных срабатываний.  

• Пример: классификация заболеваний людей.  

• Максимизация рекол для минимизации ложных пропусков.  

• Пресижен хорош для задач, где важна чистота классификации.  

• Рекол хорош для задач, где важно количество классификаций.  

• Метрика F-мера объединяет рекол и пресижен.  

• Метрики используются для оценки качества работы моделей и понимания их переобученности или недообученности.