MLFlow и переобучение ML-моделей // Демо-занятие курса «MLOps»

• Преподаватель Данила Слепов представляет себя и платформу OTS.  

• Он рассказывает о своем опыте работы в ИТ-компаниях и получении сертификатов.  

• OTS - это образовательная платформа, которая разрабатывает курсы для повышения качества жизни.  

• Курсы ориентированы на специалистов в топовых компаниях.  

• OTS имеет образовательную лицензию и разрабатывает курсы исходя из требований рынка.  

• Цель урока - научиться распознавать сценарии использования Эмаль Флоу и понять, как использовать этот инструмент при переобучении.  

• Преподаватель демонстрирует, как управлять версиями артефактов моделей на облачной инфраструктуре Яндекса.  

• Он также обсуждает возможность использования Эмаль Флоу на других облачных провайдерах.  

• Видео начинается с объяснения контекста создания модели машинного обучения, включая этапы обучения, валидации и вывода в прод.  

• Эмалипс - это подход, который автоматизирует эти этапы и обеспечивает бесшовный вывод в прод.  

• Видео обсуждает артефакты и метрики модели, включая силизованные модели, параметры алгоритмов машинного обучения и пайплайны.  

• Переобучение модели необходимо для поддержания ее актуальности и улучшения качества работы.  

• Видео обсуждает инструменты для автоматизации и мониторинга, включая эрфлоу, пайплайн и другие.  

• Эрфлоу используется для выстраивания пайплайнов и управления артефактами, а также для мониторинга работы модели.  

• Эмальфлоу - инструмент для воспроизводимости кода, который позволяет объединять код с окружением и передавать его коллегам для запуска.  

• Трекинг используется для логирования кода, данных, конфигураций, метрик и параметров.  

• Мальфлоу предлагает обернуть результаты работы в модельки, которые можно запускать на разных фреймворках.  

• Трекинг-сервер, веб-интерфейс, база данных, объектное хранилище, чат-бот.  

• Данные могут храниться в объектном хранилище или базе данных.  

• Поддержка чат-бота может быть реализована на уровне эмальфлоу или кода, который запускается внутри него.  

• Эмальфлоу может быть развернут на виртуальной машине у облачного провайдера, например, Яндекс.  

• В качестве базы данных используется менеджер пост-сиквел, а для хранения артефактов - обжиг сторож.  

• Облачные провайдеры удобны для создания инфраструктуры, так как они позволяют сократить время настройки и передать административные функции провайдеру.  

• Видео обсуждает использование Emil Floow для автоматизации машинного обучения.  

• Emil Floow - это сервис, который позволяет отслеживать и регистрировать артефакты машинного обучения, такие как модельки, параметры и метрики.  

• Emil Floow также позволяет запускать код на различных серверах и отслеживать результаты обучения.  

• Emil Floow имеет веб-интерфейс, который позволяет просматривать и управлять экспериментами и запусками кода.  

• Эксперимент - это набор запусков кода, которые могут быть выполнены на разных дата-сетах или с разными гиперпараметрами.  

• Emil Floow позволяет отслеживать параметры, метрики и модельки, а также сохранять их в удаленном хранилище для дальнейшего использования.  

• В видео обсуждается использование модели эмальфлоу для логирования и анализа данных.  

• Модель может быть запущена как питоновская функция или с использованием различных фреймворков.  

• Модель также может быть обучена на разных наборах данных и гиперпараметрах.  

• В видео демонстрируется, как можно визуализировать и сравнить результаты различных запусков модели на разных дата-сетах.  

• Это может быть полезно для определения наилучших параметров модели и сравнения их с другими вариантами.  

• В видео обсуждается, как эмальфлоу поддерживает различные варианты инкапсуляции зависимостей, включая питоновское окружение, конду и виртул-ин.  

• Это позволяет пользователям выбирать наиболее подходящий вариант для своих нужд.  

• Обсуждение безопасности и использования Emflow, включая вопросы аутентификации и авторизации пользователей, а также ограничения доступа к данным.  

• Упоминается, что Emflow не имеет встроенных функций безопасности, и для обеспечения безопасности необходимо использовать коммерческие версии или настраивать дополнительные сервисы.  

• Анонс ближайшего курса по машинному обучению, который стартует 26 января и длится 5 месяцев.  

• Курс предназначен для тех, кто знаком с терминологией машинного обучения и может читать питоновский код.  

• В команде преподавателей есть практики из различных компаний, что позволяет рассмотреть проблему с разных сторон.  

• Программа курса включает в себя обучение процессам, инфраструктуре, подготовке данных, моделированию, валидации, развертыванию и мониторингу.  

• Упоминаются соревнования Kaggle, которые отличаются от курса Emflow тем, что они ориентированы на соревновательный дата-сайенс, а не на промышленный.  

• В видео обсуждается использование облачных провайдеров для развертывания эмальфлоу и других инструментов.  

• Упоминается, что эмальфлоу может помочь в решении задач воспроизводимости, диплои и переобучения.  

• В видео обсуждаются функции и компоненты эмальфлоу, включая лок парамс, лок модел и мальфлоу трекинг.  

• Упоминается, что эмальфлоу может быть развернут на базе сервисов облачных провайдеров.  

• В видео приводятся ссылки на материалы и вебинары, включая предыдущие вебинары и программу курса.  

• Упоминается, что отзывы учеников учитываются при настройке демо-занятий и программы курса.