Ирина Елисова | Двухэтапная модель

• Обсуждение необходимости двухэтапной модели для улучшения рекомендаций.  

• План лекции: зачем строить двухэтапную модель, основной принцип, модели для первого и второго этапа, схема валидации, обучающая выборка и оценка качества.  

• Простые модели не учитывают временную составляющую и вкусы пользователей.  

• Линейные модели не позволяют учитывать нелинейные зависимости.  

• Использование рангов, эмбедингов и скоров для улучшения рекомендаций.  

• Фильтрация атомов, обучение легких моделей, ранжирование кандидатов.  

• Использование бустинга или нейросети для ранжирования кандидатов.  

• Использование результатов легких моделей или эвристик.  

• Применение правил в зависимости от домена.  

• Возможность использования всех кандидатов одновременно.  

• Бинарная классификация или регрессия для улучшения метрик.  

• Использование бустинга над деревьями или других моделей.  

• Обучающая выборка и схема валидации.  

• Позитивные и негативные объекты взаимодействия.  

• Эксперименты с количеством и временными промежутками.  

• Сбор информации о пользователях и атомах.  

• Использование классических метрик рекомендательных систем.  

• Оценка качества модели второго этапа.  

• Проблемы с ресурсами и их решение.  

• Данные по приложению Кион.  

• Схема валидации и разделение данных.  

• Обучение модели первого этапа и предсказание кандидатов.  

• Разделение данных для обучения и предсказания.  

• Обучение модели Лайт ФМ и предсказание кандидатов.  

• Использование теплых пользователей и обучение модели.  

• Создаем пустой дата-фрейм для предсказаний.  

• Генерируем 30 кандидатов для пользователя.  

• Используем вспомогательные функции из первого курса лекций.  

• Ставим задачу бинарной классификации.  

• Используем CatBoostClassifier для категориальных признаков.  

• Собираем данные для обучения и тестирования.  

• Используем сэмплирование для баланса классов.  

• Делим данные на тренировочную и тестовую выборки по пользователям.  

• Выделяем 10% данных для ролистопинга.  

• Используем простые категориальные признаки и ранг от модели первого этапа.  

• Обрабатываем пропуски в признаках.  

• Собираем тренировочные и валидационные признаки.  

• Обучаем модель с помощью механизма EarlyStopping.  

• Сохраняем модель и проверяем важность признаков.  

• Оцениваем результаты на тестовой выборке.  

• Сравниваем модели первого и второго этапов на отложенном тесте.  

• Оставляем только теплых пользователей для предсказаний.  

• Считаем метрики для обеих моделей.  

• Настраиваем валидацию для более точных результатов.  

• Экспериментируем с разделением на тренировочную и тестовую выборки.  

• Генерируем новые признаки для улучшения модели.  

• Благодарим за прохождение курса.  

• Подчеркиваем важность экспериментов и генерации новых признаков.