ANNA и AMELIA - новое поколение AutoML

• Алексей Рязанцев, дата-систем в лаборатории машинного обучения Альфа-Банка.  

• Разработка сервисов автоматического моделирования.  

• Автоматизация рутинных задач в дата-сайентистике.  

• Обзор существующих автомель решений.  

• Базовая схема работы автомель: пользователь предоставляет данные, модели обучаются, создается ансамбль моделей.  

• Необходимость добавления функционала для работы с данными, отбора признаков и аналитики.  

• Автомель не покрывает все потребности пользователей.  

• Пользователи не доверяют автомель из-за сложности и нестабильности моделей.  

• Технические проблемы и недоверие к дополнительным функциям.  

• Мотивация для создания собственного сервиса Амелия.  

• Унифицированный формат данных для пользователей.  

• Автоматизация процесса работы с данными через единое хранилище.  

• Проблемы с масштабируемостью и обработкой больших данных.  

• Решение перенести обработку на Spark и использовать ресурсы кластера.  

• Очистка данных и предотбор признаков для уменьшения объема памяти.  

• Бизнес-требования по анализу каждого признака.  

• Итеративный отбор признаков с использованием алгоритма.  

• Использование вор-стартов для подбора гиперпараметров.  

• Использование компетентных бусинков для табличных данных.  

• Поддержка всех основных имплементаций бусинков.  

• Подбор гиперпараметров с помощью Optuna для оптимизации.  

• АТМ не имеет знаний о параметрах бустинга в начале перебора.  

• Подаем старт конфигурации для улучшения процесса.  

• Поддерживаются три основные имплементации бустингов.  

• Смешивание базовых моделей с помощью логистической регрессии или градиентного бустинга.  

• Использование оптюны для перебора весов базовых моделей.  

• Интерпретируемые коэффициенты моделей и возможность тюнить ансамбль под любую метрику.  

• 80% задач решаются на уровне дата-сайентиста.  

• Среднее время построения модели - 7 часов.  

• Поддерживается максимальный размер выборки 35 миллионов.  

• Автоматизация работы с данными, обучение моделей и аналитика.  

• Модуль автопоиска проблем подсвечивает возможные проблемы в модели.  

• Использование нейронных сетей для последовательных данных.  

• Основные домены данных: карточные транзакции, транзакции расчетного счета, кредитные истории.  

• Решение задач кредитного скоринга, склонности к продуктам и предсказания оттока.  

• Много мелких задач, которые не успевают решать.  

• Два пути: нанимать дата-сайентистов или автоматизировать разработку.  

• Разработка собственного сервиса "Анна" для автоматизации.  

• Входная последовательность признаков, кодировщик и полносвязная голова.  

• Три домена данных: транзакции расчетного счета, карточные транзакции, кредитные истории.  

• Смешивание предсказаний базовых моделей для итогового предсказания.  

• Предобучение для мелких задач.  

• Подбор гиперпараметров не обязателен, предобучение и техника Эрли помогают.  

• Сервис "Анна" позволяет обучать модели на маленьких данных.  

• Загрузка данных, обучение базовых моделей, запуск модели смешивания.  

• Использование бэкенда для запуска кода и оркестровки запусков.  

• Прирост к базовым моделям составляет 5% в метрике ROC AUC.  

• Автоматизация освобождает время для ресерча и позволяет заниматься универсальными техниками.  

• В дата сайнс существуют различные методы получения важности признаков.  

• Используются встроенные методы моделей и форвард селекшн.  

• Библиотека SHAP позволяет получать важность признаков на валидационной выборке.  

• Сервисы поддерживают обучение нейронных сетей и классических моделей.  

• Сервисы используются для быстрого запуска моделей и проверки гипотез.  

• Возможность генерации новых признаков из других источников.  

• Используются стандартные методы тестирования и валидации.  

• Выборка предварительно размечена на тренировочную, валидационную и тестовую части.  

• Признаки и гиперпараметры подбираются на валидационном датасете.  

• Для ATTUNE устанавливается 30 итераций подбора гиперпараметров.  

• Время обучения зависит от размера датасета.  

• Сетки перебора адаптируются под размер датасета для достижения приемлемого времени обучения.  

• Идея сделать AMELIA и ANNA открытыми библиотеками обсуждается.  

• Сервисы сильно завязаны на инфраструктуру банка, что затрудняет их релиз в опенсорс.  

• Планируется дальнейшее рассмотрение и реализация.  

• AMELIA поддерживает все основные типы задач: классификация, регрессия, ALM и мульти-таргет задачи.  

• Безопасность данных обеспечивается внутри серверов, конфиденциальные данные маскируются.  

• Благодарность за интерес и вопросы, прощание.