Введение в анализ данных, лекция 17 — рекомендательные системы

• Обсуждение темы рекомендательных систем, которые сводятся к классификации или регрессии, но имеют дополнительные особенности.  

• Примеры использования рекомендательных систем: Netflix, YouTube, Spotify, интернет-магазины, реклама в интернете.  

• Рекомендации приносят профит, увеличивают продажи, повышают лояльность покупателей.  

• Рекомендации помогают быстрее находить нужный контент, сокращать время поиска.  

• В 2012 году Netflix провел соревнования по улучшению качества рекомендаций, что вызвало ажиотаж и рост области.  

• В 2013 году состоялась первая конференция по рекомендательным системам, которая продолжается до сих пор.  

• В видео обсуждается проблема выбора метрики для рекомендаций и ее влияние на качество модели.  

• Упоминается соревнование Netflix Prize, где была выбрана метрика оценки по пятибалльной шкале.  

• В видео обсуждаются традиционные подходы к построению рекомендаций, такие как мемори-бейс модели.  

• Эти модели основаны на запоминании предпочтений пользователей и могут быть использованы для обучения других моделей.  

• В видео приводятся примеры и определения для различных понятий, таких как пользователи, товары, пары пользователей и товаров, и рейтинги.  

• Обсуждается идея поиска похожих на пользователя пользователей и рекомендации им товаров, которые им понравились.  

• Пример рекомендации фильма пользователю на основе его предпочтений.  

• Недостатки: не обучается, трудозатратный, не подходит для больших систем.  

• Идея: каждый фильм характеризуется тем, насколько он относится к разным жанрам.  

• Задача: найти векторы для пользователей и фильмов, чтобы скалярные произведения хорошо предсказывали оценки.  

• Обучение векторов для описания интересов пользователей и фильмов.  

• Рекомендации: взять вектор пользователя, умножить на векторы всех фильмов, найти фильм с наибольшим скалярным произведением.  

• В видео обсуждается задача рекомендаций, когда есть пользователи и атомы, и нужно предсказывать оценки пользователей для новых данных.  

• Для этого используются специальные методы, такие как коллаборативная фильтрация и связанные с скрытыми переменными.  

• Качество рекомендаций может измеряться разными способами, включая точность, долю кликов и новизну.  

• В видео также обсуждаются метрики качества рекомендаций и их использование в бустинге.  

• В некоторых случаях могут быть дополнительные данные, такие как информация о контенте и интересах пользователей и атомов, которые могут быть использованы для улучшения качества рекомендаций.  

• В целом, видео обсуждает различные методы и подходы к задаче рекомендаций и их использование в реальных приложениях.  

• В видео обсуждается, что бустинг над линейными моделями в регрессии не даст профита, так как бустинг суммирует модели, а сумма линейных моделей - это просто линейная модель.  

• В линейной регрессии уже найдено оптимальное решение, и бустинг не может найти лучшее.  

• Если признаки нелинейные, бустинг может быть полезен, так как он суммирует нелинейные модели.  

• Однако, если признаки линейные, бустинг не имеет смысла, так как уже найдено оптимальное решение.  

• Композиции деревьев могут быть использованы для бустинга, так как они могут дать очень хорошее качество.  

• Однако, в видео обсуждается суммирование линейных моделей без нелинейности, а не композиции деревьев.  

• Номер кластера может быть использован как признак предсказаний, но лучше использовать его как категориальный признак.  

• Деревья популярны для бустинга из-за их простоты, не переобученности и быстроты работы.