Валерий Бабушкин - Метрики и функции потерь при дизайне систем машинного обучения

• Книга от издательства Manning написана Валерием Бабушкиным и Арсением Кравченко.  

• Книга посвящена системному дизайну в области машинного обучения.  

• В книге есть примеры дизайн-доков и великолепная графика.  

• В книге участвует коллектив людей, включая Богдана Печенкина.  

• Богдан оказывает неоценимую помощь в написании книги.  

• Его вклад в книгу сложно переоценить.  

• Обсуждение иерархии метрик и функций потерь.  

• Функции потерь определяют, как модель знакомится с окружающим миром.  

• Выбор правильной функции потерь может кардинально изменить производительность модели.  

• Пример с средне-квадратичной ошибкой MSE и средней абсолютной ошибкой MAE.  

• Изменение функции потерь может привести к разным предсказаниям.  

• Важно учитывать, что важно для конкретной задачи: точность или отсутствие выбросов.  

• Метрики часто отличаются от функций потерь.  

• В книге рассматриваются примеры из супер-мега ритейл компаний.  

• Реальное решение задачи может быть сложно поймать офлайн, поэтому важны онлайн-метрики.  

• Модель фрода выполняет бинарную классификацию: 0 - не фрод, 1 - фрод.  

• Метрика ЮРАСЕ не подходит для таких задач из-за большого класса белас.  

• Важно учитывать вероятность модели и баланс классов.  

• Пресижен зависит от баланса классов и может сильно меняться.  

• Пример: при изменении соотношения позитивных и негативных примеров пресижен может сильно варьироваться.  

• Пресижен не является лучшим выбором для моделей фрода.  

• Прикол зависит только от одного класса и не меняется при изменении распределения данных.  

• Специфичность также может быть использована для вероятностных моделей.  

• АУК является усреднением рикола по каждому классу и также вероятностной метрикой.  

• Метрики можно выстроить в иерархию: прокси-метрики, онлайн метрики, финальная задача.  

• Пример из книги показывает, как подбирать метрики и лосы.  

• Книга является лучшим подарком и доступна для покупки.  

• АУК пригоден для сильного дисбаланса и является вероятностной метрикой.  

• Важно уметь интерпретировать АУК и понимать его значение.  

• Пример использования специфичности и рикола в WhatsApp.  

• Пример факапа с метрикой: использование МСЕ и МАЕ для подсчета единиц.  

• Важно правильно интерпретировать результаты метрик для принятия решений.  

• Люди думали, что нужно попасть в среднее значение, но на самом деле нужно было попасть в медиану.  

• Ошибка в медиане означает, что вы ошиблись только в одном случае, а не везде.  

• Пример с мишенью: если вы ошиблись более чем на 10%, то не попали в цель.  

• Обсуждение использования RMS и квадратного корня для решения проблемы.  

• Проблема в том, что квадратный корень не влияет на медиану, и ошибки остаются пропорциональными.  

• Дизайн-доки важны для старых проектов, так как они помогают описать проект и предотвратить поломки.  

• Дизайн-доки лучше делать заранее, пока проект еще в хорошем состоянии.  

• В книге приведены примеры подбора метрик для различных задач, включая прогноз спроса.  

• Важно анализировать и выбирать метрики, которые подходят под конкретные условия задачи.  

• Проблема с метриками, зависящими от баланса классов, и их оценка через бутстрап.  

• Доверительные интервалы можно считать через бутстрап для метрик, инвариантных к балансу классов.  

• Обсуждение вопросов участников и выбор лучшего вопроса.  

• Алексей получает книгу в подарок за лучший вопрос.