Отслеживание экспериментов с использованием MLflow в машинном обучении | Управление версиями моделей и Реестр моделей | Часть 1

• MLflow - платформа с открытым исходным кодом для управления жизненным циклом машинного обучения.  

• Включает в себя отслеживание экспериментов, воспроизводимость, развертывание и управление версиями моделей.  

• Создание среды conda и установка необходимых библиотек, таких как pandas, numpy, scikit-learn, imb-learn, matplotlib и mlflow.  

• Запуск jupyter notebook из среды для работы с MLflow.  

• Импорт данных из репозитория на GitHub или из локальной системы.  

• Предварительная обработка данных, включая очистку, категориальные переменные, избыточную выборку.  

• Разделение данных на обучающую и тестовую части.  

• Создание классификатора "случайный лес" с помощью функции инициализации и моделирования.  

• Прогнозирование на основе тестовых данных и оценка точности, отзыва и логарифмической потери.  

• Создание метода "гиперпараметрическое обучение" для настройки модели.  

• Настройка параметров, таких как количество оценочных значений, максимальная глубина, максимальное разделение выборки и метод начальной загрузки.  

• Вызов функций предварительной обработки, повторной выборки и обучения моделей.  

• Получение предсказанных результатов и оценка точности, отзыва и логарифмической потери.  

• Создание базового классификатора и настроенного классификатора.  

• Запись экспериментов с помощью mlflow.  

• Создание названия эксперимента и запуск.  

• Запись матрицы путаницы, кривой roc и других показателей.  

• Запуск пользовательского интерфейса mlflow для просмотра экспериментов.  

• Обновление экспериментов и запуск новых.  

• Активация среды anaconda для работы с mlflow.  

• Создание и регистрация экспериментов с использованием базового классификатора.  

• Запись показателей, артефактов и параметров.  

• Возможность редактирования описания эксперимента.  

• Создание второго эксперимента с настроенной моделью.  

• Настройка гиперпараметров и обучение модели.  

• Возможность предсказать на основе тестовых данных.  

• Автор объясняет, как настроить модель с помощью mlflow, используя функцию настройки гиперпараметров.  

• Он демонстрирует, как создать матрицу выполнения и матрицу путаницы, а также как записать модель в реестр моделей.  

• Автор объясняет, как использовать реестр моделей для создания модели исследования в процессе производства.  

• Он также демонстрирует, как использовать mlflow для создания экспериментов и как использовать артефакты для запуска модели.  

• Автор объясняет, как использовать внутреннее хранилище, такое как база данных, для хранения моделей.  

• Он демонстрирует, как использовать mlflow с базой данных MySQL и как определить URL-адрес для отслеживания эксперимента.  

• Автор объясняет, что он получил ошибку, потому что вставил строку кода в неправильное место.  

• Он просит повторить фрагмент кода, который выполняет функцию, и объясняет, что оптимизированная модель не существует, потому что он использует серверную часть SQLite.  

• Автор объясняет, что если он запустит эксперимент еще раз, он создаст новую версию в рамках этого эксперимента.  

• Автор объясняет, что mlflow предоставляет удобный пользовательский интерфейс для регистрации параметров, метрик, тегов и артефактов эксперимента.  

• Он объясняет, что использование отслеживания модели позволяет представить модель так, как будто она находится на вершине.  

• Автор объясняет, что модель mlflow - это группировка всех файлов, которые станут проектом mlflow.  

• Он объясняет, как создать новую модель и зарегистрировать ее для производства.  

• Он также объясняет, как развернуть и обслуживать модели с помощью mlflow.