Прикладные задачи анализа данных, лекция 14 — Recsys Intro

• Автор представляется и объясняет, что он работает в Одноклассниках и занимается рекомендациями.  

• Он обсуждает, что рекомендации - это системы, которые могут рекомендовать контент пользователям, который они сами бы не нашли.  

• Он определяет рекомендательные системы как системы, которые могут рекомендовать контент, который релевантен интересам пользователя.  

• Автор обсуждает три постановки задач рекомендаций: атомзер, айтом и юзер-уайт.  

• Он объясняет, что атомзер - это самая популярная постановка, когда рекомендации привязаны к пользователю.  

• Айтом - это подход, когда рекомендуются похожие товары или контент.  

• Юзер-уайт - это подход, когда рекомендации основаны на обратной сегментации, когда рекомендуются пользователи к конкретному атому.  

• Автор обсуждает четыре типа рекомендательных систем: не персонализированные, контентные, коллаборативная фильтрация и гибридные.  

• Он объясняет, что не персонализированные системы - самые простые и стабильные, но контентные системы также могут быть использованы.  

• Коллаборативная фильтрация делится на мемори бейс и моделл бейс, где мемори бейс основан на памяти, а моделл бейс - на модели.  

• Он также упоминает, что гибридные системы - это смеси этих трех подходов.  

• В видео обсуждаются неперсонализированные рекомендации, которые могут быть основаны на популярности, новизне, цене, отзывах и рейтингах.  

• Эти рекомендации могут быть полезны для новых пользователей, которые еще не имеют истории на сайте.  

• Плюсы: простота реализации, предсказуемый результат, решение проблемы холодного старта.  

• Минусы: низкая релевантность, отсутствие персонализации.  

• Персонализированные рекомендации могут быть основаны на истории пользователя или на контентных признаках.  

• Неперсонализированные рекомендации могут быть основаны на контенте и рекомендовать ближайшие атомы по расстоянию до имбидинга.  

• В видео обсуждается подход к персональным рекомендациям, основанный на контентной системе.  

• Этот подход собирает все свойства айтимов и пользователей, не взаимодействуя с сервисом, и добавляет лейбл релевантности.  

• Затем можно обучить модель классификации для предсказания оценки положительного сигнала.  

• В видео обсуждается подход коллаборативной фильтрации, который использует некоторую похожесть пользователей с точки зрения поведения на сервисе.  

• Этот подход строится на фидбеках пользователей без знания свойств пользователей и объектов, таких как текст и категории.  

• Фидбеки могут быть разными, включая рейтинги и лайки.  

• Явный фидбек предпочтительнее, так как он отображает предпочтение пользователя, но его мало и он происходит только в контексте.  

• Неявный фидбек, такой как процент просмотра видео или музыки, может быть использован для построения положительных сигналов.  

• Однако, не всегда есть уверенность в том, что этот сигнал положительный и совпадает с предпочтениями пользователей.  

• Меймори-бейс подход: запоминаем историческую информацию о взаимодействиях пользователей и атомов и сразу же делаем рекомендации.  

• Подход, основанный на модели: обучаем модели, которые рекомендуют пользователям самые интересные атомы.  

• Юзер бейс подход точнее, но стабильность рекомендаций ниже.  

• Интерпретируемость лучше в атом бейс подходе, но разнообразие рекомендаций выше в юзер бейс.  

• Прост в реализации, интерпретируем, но не так релевантен, как модели.  

• Не может справиться с проблемой старта и найти сложные зависимости.  

• В этом подходе используется модель, которая раскладывает матрицу на матрицу пользователей и матрицу атомов.  

• Идея заключается в том, чтобы заполнить матрицы значениями и затем использовать их для рекомендаций.  

• Матричное разложение минимизирует ошибку при разложении и добавляет регуляризацию.  

• В этом подходе используется метод альтернативных квадратов (лос), который учитывает неявный фидбек.  

• Фидбек может быть в виде процента просмотра видео, бинарного действия (лайк) или индикатора совершенного действия.  

• Матрица становится из нулей и единиц, и используется функция уверенности для моделирования предпочтений.  

• В видео обсуждается подход к оптимизации, основанный на использовании имплис фидбеков.  

• Этот подход позволяет решать задачу регрессии для каждого столбца матрицы, что делает его быстрее, чем другие методы.  

• В рекомендательных системах обычно используются метрики, связанные с бинарной классификацией, такие как пресижен и реколотка.  

• Пресижен - это количество положительных срабатываний на рекомендованных атомах, а реколотка - это количество положительных срабатываний на атомах, не связанных с рекомендациями.  

• В видео также обсуждается, что в рекомендациях обычно рекомендуется небольшое количество атомов, поэтому количество положительных срабатываний для пользователя может быть очень большим.  

• В видео обсуждаются новые метрики для оценки качества рекомендательных систем: ап и мап.  

• Ап (averaged precision) - это взвешенная точность, которая учитывает порядок рекомендаций.  

• Мап (mean average precision) - это усреднение ап по всем пользователям.  

• Приводятся примеры использования метрик для оценки качества рекомендаций в различных ситуациях.  

• Обсуждаются метрики: дискаун (cumulative gain), нормалийст дискаунт (normalized discount), эмарар (mean average reciprocal rank), рокаук (roc-auc).  

• В заключение обсуждаются различные типы рекомендательных систем и методики их оценки.  

• Автор отвечает на вопросы зрителей и благодарит за просмотр.