Туториал: новые фичи CatBoost

• Приветствие и представление участников.  

• Основная цель туториала - рассказать о последних новостях и фичах.  

• План включает презентацию, два блока с туториалами и соревнование с призами.  

• Туториал состоит из четырех блоков: презентация, два блока с туториалами и соревнование.  

• После каждого блока будут вопросы и ответы.  

• Вопросы можно задавать в чат или голосом в трансляции.  

• Как Буст - реализация алгоритма градиентного бустинга.  

• Градиентный бустинг подходит для разнородных данных, таких как табличные данные.  

• Легко использовать и работает даже на маленьких данных.  

• Как Буст используется в различных сервисах Яндекса, таких как погода, такси, музыка и Алиса.  

• В Алисе используется для выбора подходящего ответа после нейронной сети.  

• В поиске используется для аранжировки поисковой выдачи.  

• Градиентный бустинг строит ансамбль решающих деревьев.  

• Каждое дерево добавляет новое дерево, минимизируя ошибку на предыдущих деревьях.  

• Решающее дерево - это бинарное дерево с решающими правилами.  

• Числовые признаки можно сравнивать, категориальные признаки требуют предварительной обработки.  

• В Кабусте поддерживается обработка категориальных признаков и текстовых признаков.  

• Текстовые признаки обрабатываются автоматически.  

• Поддержка категориальных и текстовых признаков из коробки.  

• Хорошее качество с дефолтными параметрами благодаря автонастройке гиперпараметров.  

• Методы визуализации и анализа моделей.  

• Сравнение скорости обучения на CPU и GPU.  

• На GPU Кабуст выигрывает в любом случае, особенно на больших датасетах.  

• Не рекомендуется использовать GPU для маленьких датасетов менее 50 тысяч объектов.  

• Быстрое применение благодаря деревьям и эффективному коду.  

• Применение на CPU в 50 раз быстрее, чем у конкурентов.  

• Возможность конвертации LGBM моделей в формат Caffe для ускорения в 10 раз.  

• Применение на GPU еще быстрее, чем на CPU.  

• Сравнение с одним ядром CPU не совсем честное.  

• Проведение опросов в Zoom для сбора статистики.  

• Возможность смотреть туториал онлайн или локально.  

• Импорт необходимых библиотек и подготовка датасета.  

• Работа с датасетом от Microsoft для задачи ранжирования.  

• Отделение фичей от лейблов и подготовка данных для обучения.  

• Использование класса Pool для удобного хранения данных.  

• Разделение датасета на тренировочную и валидационную части с помощью функции sklearn.model_selection.train_test_split.  

• Процесс уменьшения числа уникальных значений числовых фичей.  

• Кватизация помогает ускорить обучение, особенно на GPU.  

• Использование метода quantize для класса Pool для предварительной квантизации данных.  

• Импорт библиотеки Caffe и создание модели с параметрами.  

• Обучение модели с помощью метода fit и проверка параметров.  

• Использование функции потерь RMSProp для оптимизации.  

• Включение красивой визуализации обучения по флагу `plot = True`.  

• Использование кастомных метрик для задач классификации и регрессии.  

• Интерактивный график обучения с возможностью приближения и отдаления.  

• Точка переобучения, после которой качество на валидационном наборе ухудшается.  

• Деревья после этой точки бесполезны и должны быть удалены.  

• Цель - держать точку как можно правее для эффективного обучения.  

• Использование встроенных методов подбора параметров, таких как `gridsearch`.  

• Создание модели с параметрами, которые не нужно подбирать.  

• Построение сетки для перебора параметров и запуск обучения с каждой комбинацией.  

• Кросс-валидация с лучшими параметрами для оценки качества.  

• Возможность разбиения пула на обучение и валидацию для более точного подбора.  

• Рефит модели с лучшими параметрами для предсказаний.  

• Использование метода `get_features` для анализа влияния признаков на модель.  

• Возможность сортировки и нормировки импотенций.  

• Применение метода для задач ранжирования, где важен порядок предсказаний.  

• Использование фичер-подаов для визуализации влияния фичей на предсказания.  

• Пример с первым объектом: фичи 56, 9, 12, 16 двигают предсказание влево, а фичи 126, 127, 19 двигают вправо.  

• Для седьмого объекта: фичи 109, 108 двигают предсказание вправо.  

• Возможность визуализации фичей для всего датасета на одном графике.  

• Цвет точек указывает на значение фичи: большие значения увеличивают предсказание, маленькие уменьшают.  

• Пример: фича 109 увеличивает предсказание для одних объектов и уменьшает для других.  

• Возможность использования шапвеллюс для ранжирующих режимов.  

• Особенности: цвета точек не имеют смысла, так как значения к отвечи не важны.  

• Результаты опроса: 77% участников знали о фичер-подах.  

• Использование метода плод три для визуализации деревьев.  

• Пример с двумя итерациями и тремя фичами: решающие правила для первой и нулевой фичи.  

• Возможность сохранения модели в формате JSON или Python-коде.  

• Введение несимметричных деревьев на GPU и CPU.  

• Параметр groopolise для выбора типа дерева.  

• Пример несимметричного дерева и его преимущества на некоторых датасетах.  

• Использование снапшотов для сохранения прогресса обучения.  

• Сохранение моделей в различных форматах: бинарный, C++, Python, JSON.  

• Возможность загрузки и применения моделей в различных форматах.  

• Вопросы о редкости CatBoost на Kaggle.  

• Причины: позднее появление и незнание возможностей CatBoost.  

• Призыв к использованию CatBoost для улучшения результатов.  

• Обучение на GPU и CPU использует разные коды.  

• Некоторые части кода одинаковы, но само обучение реализовано по-разному.  

• Это приводит к разным результатам, несмотря на одинаковый алгоритм.  

• Кастомные метрики для GPU не поддерживаются.  

• Написание кастомных метрик на Python замедляет обучение.  

• Если нужна кастомная метрика, лучше написать в чат или создать запрос на GitHub.  

• Можно тюнить параметры с помощью HyperOpt.  

• Для этого нужно написать код, который реализует необходимые функции.  

• HyperOpt позволяет обучать различные модели, включая KNN.  

• На тестовой выборке могут быть локальные минимумы.  

• Качество модели может колебаться в зависимости от построенного дерева.  

• Если тестовые данные соответствуют распределению тренировочных данных, модель должна работать корректно.  

• Обучение на GPU ускоряет процесс.  

• Используется Google Colab для обучения моделей.  

• Пример задачи: классификация фильмов и предсказание рейтинга.  

• Импорт данных и подготовка колонок.  

• Удаление ненужных колонок и преобразование данных.  

• Обучение моделей с и без текстовых фичей.  

• Три этапа обработки текстовых признаков: токенизация, составление словаря, генерация новых вещей.  

• Токенизация: выделение сущностей из текста.  

• Проблемы с токенизацией: прилипание пунктуации, разный регистр, множественные формы существительных.  

• Проблемы решаются с помощью опций в классе токенизатора.  

• Понижение регистра и использование более сложных разделителей.  

• Пример использования опций для улучшения токенизации.  

• Убраны знаки препинания и верхний регистр.  

• Проблема с множественным и единственным числом остается.  

• Удаление стоп-слов для уменьшения размера данных.  

• Климатизация текста для приведения слов к единой форме.  

• Использование сторонних библиотек для климатизации.  

• Пример использования библиотеки NLTK для климатизации текста.  

• Преобразование текста для улучшения качества данных.  

• Преобразования подходят не для всех задач.  

• Пример с определением правильности предложения.  

• Словарь переводит токены в уникальные идентификаторы.  

• Использование класса DictVectorizer для создания словаря.  

• Пример создания словаря и присвоения идентификаторов токенам.  

• Преобразование текста в вектор идентификаторов.  

• Пример применения словаря к объектам и создание матрицы признаков.  

• Использование матрицы признаков для обучения модели.  

• Влияние параметров словаря на качество модели.  

• Пример улучшения качества при удалении ограничений на размер словаря.  

• Комбинирование различных параметров словаря для улучшения качества.  

• Параметр skip-step для выбора соседних токенов.  

• Параметр token-level-type для рассмотрения слов или букв.  

• Комбинация униграмм, биграмм и триграмм для улучшения качества модели.  

• BP-словарь строится на основе частотности токенов.  

• Включает биграммы, триграммы и другие грады.  

• Используется для автоматического определения популярных токенов.  

• Параметры для тонизации, составления словаря и подсчета фичей.  

• Возможность тонкой настройки параметров для каждой фичи.  

• Декартово произведение параметров для создания новых фичей.  

• Задание параметров токинизаторов и словарей через JSON.  

• Возможность добавления нескольких токинизаторов и словарей.  

• Параметры для каждого токинизатора и словаря.  

• Поддержка фичей: BOW, наивный байес, BM25.  

• BOW добавляет новые фичи на основе словаря.  

• Наивный байес добавляет новые фичи на основе вероятности принадлежности к классу.  

• BM25 добавляет новые фичи на основе классов.  

• Учитывает редкие токены, что помогает в обучении.  

• Рассчитывается онлайн, аналогично TFF.  

• Объединяет параметры токинизаторов, словарей и фича-процессинга.  

• Возможность тонкой настройки преобразований для фичей.  

• Поддержка различных преобразований для разных фичей.  

• Получение колонок со строками, тонизация, построение словаря.  

• Создание фичей на основе словаря: BOW, наивный байес, BM25.  

• Использование фичей в модели, прирост качества на 5%.  

• Использование отбора фичей при построении дерева.  

• Возможность увидеть, что получает модель после преобразования текстов.  

• Ограниченные возможности для использования фичей в других моделях.  

• BERT более сложный и основан на детальном анализе предложений.  

• CatBoost использует отдельные числовые фичи для работы с BERT-выходами.  

• В будущем планируется поддержка векторов из BERT для CatBoost.  

• Рефы для текстовых фичей пока не поддерживаются.  

• Ограничений на поддерживаемые языки нет, важен только способ разбиения текста.  

• CatBoost поддерживает мульти-регрессию с возможностью создания кастомных функций потерь.  

• Можно использовать модели, обученные на других датасетах, для улучшения результатов.  

• Участники должны обучить модель на данных ноутбука и отправить результаты на почту.  

• Модель не должна содержать более тысячи деревьев и не использовать тестовые данные в обучении.  

• Участники могут задавать вопросы голосом через Zoom.  

• Вопросы касаются конвертации текстовых фич в числовые и выбора прайера для модели.  

• CatBoost не поддерживает комбинирование с другими моделями для регрессии на три дня вперед.  

• Рекомендуется использовать встроенную функцию мультирегрессии для предсказания нескольких значений.  

• Обсуждение использования категориальных переменных для предсказания загрязнения воздуха.  

• Вопрос о том, как лучше кодировать категориальные переменные: как текст или как числа.  

• Рекомендация попробовать оба подхода и выбрать лучшие фичи.  

• Вопрос о применении CatBoost для прогноза погоды.  

• Рекомендация искать статьи и примеры от команды Яндекс Погода.  

• Обсуждение возможности использования формул для извлечения статистики.  

• Вопрос о возможности использования категориальных переменных в регрессии.  

• Объяснение, что текстовые фичи можно использовать только в классификации.  

• Обещание выпустить туториал по параметрам CatBoost для регрессии.  

• Вопрос о возможности ускорения выдачи шапов для модели.  

• Объяснение использования параметра "шап мод" для ускорения подсчета.  

• Рекомендация уменьшить размер модели для более точного подсчета.  

• Призыв к участникам завершить работу и присоединиться к вопросам.  

• Обсуждение публикации лучших результатов и ноутбуков.  

• Рекомендация делиться результатами в чате Telegram.  

• Используется параметр "vanho max size" для категориальных фич.  

• Если число уникальных значений меньше двух, фича считается числовой.  

• Для остальных фич проводится преобразование в числовые с подбором прайеров.  

• Рассчитывается статистика для категориальной фичи.  

• Пример статистики: средний таргет по объектам выше фичи.  

• Можно считать процент положительного класса среди объектов выше фичи.  

• Функция для категориальной фичи включает число объектов положительного класса и общее число объектов.  

• Добавляются прайеры 0.5, 1 и 2.  

• Выбирается лучшее разрешающее правило.  

• Призыв к участникам вспомнить, если что-то забыли спросить.  

• Благодарности за участие и сбор информации.  

• Призыв присоединяться к активному сообществу и задавать вопросы.  

• Прощание и пожелания хорошего вечера.