Введение в основы Feature Store и MLOPS на примере Feast

• Фичистор играет важную роль в машинном обучении.  

• Презентация предназначена для новичков, но опытные специалисты также найдут что-то новое.  

• Пример с кредитными историями пяти миллионов человек.  

• Цель: построить модель предсказаний для новых клиентов.  

• Модель должна работать в онлайн и пакетном режимах.  

• Необходимость в опытных специалистах и дата-инженерах.  

• Трудности в поиске и подготовке данных.  

• Важность корреляций и зависимостей между характеристиками клиентов.  

• Дата-сайентист должен выделить признаки клиентов.  

• Предобучить и провальдировать модель.  

• Выделить фичи, которые являются основой фичистора.  

• Эмл-инженер должен развернуть модель как онлайн и пакетный сервис.  

• Необходимость мониторинга и переобучения модели.  

• Важность обновления фичей и данных.  

• Дорожная карта внедрения мепс включает девять эпиков.  

• Успешный проект импс как пример.  

• Фичистор упрощает аспекты эмл.  

• Модель занимает лишь 7% процесса, остальное - инфраструктура.  

• Важность автоматизации и управления данными.  

• Уровни зрелости эмл: ноль, один, два.  

• Экспериментирование, валидация данных, обучение моделей.  

• Пайплайны и реестры моделей.  

• Фичистор хранит и организует фичи.  

• Интерфейс между моделями и данными.  

• Фичи используются для обучения и выполнения моделей.  

• Фича - численная характеристика события.  

• Пример с данными о Ленине.  

• Фича как признак, который информативно отделяется от других.  

• Фичи не возникают из ниоткуда, они основаны на предметной области.  

• Пример с кредитными историями: возраст, доход, количество просрочек.  

• Количество просрочек является наиболее значимой фичей для предсказания невозвратов кредитов.  

• Фичи хранятся в базе данных с метаданными, такими как идентификатор клиента и время.  

• Примеры фичей: средний доход, количество просрочек, скоринговый балл.  

• Важно, чтобы модель обучалась и исполнялась на одинаковых фичах для точных предсказаний.  

• Фичстор поддерживает целостность фичей между онлайн и офлайн применением.  

• Позволяет переиспользовать фичи между проектами.  

• Гарантирует, что модель исполняется на тех же фичах, что и обучалась.  

• Фичстор объединяет специалистов в едином контексте.  

• Позволяет передавать данные между этапами работы без ручных операций.  

• Пример платформы: DAGNOC, использующая FIST.  

• Фичстор включает операционный мониторинг, блок для образования, хранилище, блок применения и реестр.  

• Источники данных: пакетные и потоковые данные.  

• Применение моделей: онлайн и пакетное применение.  

• Онлайн модели работают на текущем состоянии фичей.  

• Пакетные модели используют исторические данные.  

• Фичи в фичсторе имеют временную семантику для мониторинга и обучения.  

• Для онлайн и офлайн моделей используются разные источники данных.  

• Для онлайн моделей важны быстрые извлечения данных из баз данных.  

• Pyst не имеет конкретной реализации базы данных, а предоставляет интерфейсы для подключения различных реализаций.  

• Для онлайн моделей часто используются Redis и Cassandra.  

• Для офлайн моделей и обучения используются более классические базы данных, такие как HBase, Impala и Spark.  

• В слое трансформации проводятся трансформации данных.  

• В онлайн моделях есть категория фичей, которые появляются только в момент исполнения модели.  

• Пример: количество водителей в заявке на страхование, которое становится известным только при исполнении запроса.  

• Пример использования IP-адреса пользователя для определения его локации.  

• Демон трансформации выполняет мапинг IP-адреса на локацию пользователя.  

• Feature Store гарантирует единую семантику фичей для обучения и применения.  

• Все фичи хранятся в едином реестре, что позволяет переиспользовать их между проектами.  

• Фичи хранятся в Git, что позволяет отслеживать их эволюцию и версионирование.  

• Фичи можно переносить между средами, гарантируя их идентичность.  

• Все данные являются кодом и артефактами, что упрощает их перенос.  

• Благодарность за внимание.