Андрей Кузнецов — Мастер-класс: Пишем рекомендательную систему музыки на Java

• Докладчик Андрей Кузнецов рассказывает о том, как собрать рекомендательную систему музыки без использования Python.  

• Он объясняет, что музыка является творческой профессией, и многие люди интересуются, как создаются рекомендации.  

• Рекомендательные системы окружают нас повсюду, и они являются отдельной областью машинного обучения.  

• Они делятся на контентные методы, коллаборативную фильтрацию и гибридные методы.  

• В докладе рассматривается пример рекомендателя, который ищет похожих исполнителей для пользователя, основываясь на истории прослушивания.  

• Докладчик использует Java для реализации рекомендателя, используя KNN-алгоритм и матрицу похожести.  

• Он обсуждает, как хранить и обрабатывать матрицы, и объясняет, что это может быть сложной задачей для больших систем.  

• Докладчик обсуждает различные метрики близости, такие как произведение и скалярное произведение, и объясняет, почему произведение может быть хорошим базовым алгоритмом.  

• Он также обсуждает, как эти метрики могут влиять на результаты рекомендателя.  

• В видео обсуждается работа рекомендательных систем и их популярность в социальных сетях.  

• Рассматривается проблема популярности и ее влияние на работу рекомендательных систем.  

• В видео обсуждаются различные библиотеки для работы с линейной алгеброй на Java.  

• Выбор библиотеки оказывается сложным, так как большинство из них заброшены или имеют ограниченную поддержку.  

• В видео демонстрируется работа рекомендательной системы на примере перемножения матриц и получения рекомендаций для пользователей.  

• Результаты работы системы сравниваются с популярными исполнителями, такими как Бритни Спирс и Nirvana.  

• В стриминге используются потоковые вычисления и рекомендации на основе данных пользователей.  

• Для этого используются фреймворки Java и Scala, такие как Samsa и Faiss.  

• Большие языковые модели, такие как ChatGPT, могут объяснять рекомендации и контекст для пользователей.  

• Однако, они пока не могут полностью заменить классические рекомендаторы.  

• Скробблинг - это прослушивание музыки и сбор данных о пользователях.  

• В прошлом, до стриминговых сервисов, скробблинг был популярным способом получения рекомендаций.  

• Автор упоминает о расширении для PostgreSQL, которое позволяет работать с векторным поиском.  

• Он не пробовал это расширение, но знает людей, которые использовали его на текстовых движках и добились хороших результатов.  

• Автор также упоминает о том, что коллеги использовали расстояние Левенштейна на Tash-Keele и добились успеха.  

• В целом, автор считает, что с помощью различных инструментов можно поднять векторный поиск.