Создайте рекомендательную систему в Apache Spark и интегрируйте ее с помощью Akka by Willem Meints

• Приветствие и благодарность за присутствие.  

• Объявление темы доклада: создание рекомендательной системы с использованием Apache Spark и AKA.  

• Призыв к обратной связи и предложение встретиться лично на конференции.  

• Обсуждение популярности Netflix и Spotify.  

• Объяснение, что рекомендации показывают элементы, о которых пользователь не знает, но которые компьютер знает.  

• Упоминание о том, что машинное обучение всегда приводит к ошибкам.  

• Машинное обучение как искусство приближения.  

• Пример с предсказанием спам-рассылок.  

• Объяснение, как система рекомендаций работает на примере Netflix.  

• Проблема с неполными данными в базах данных.  

• Необходимость предсказания рейтингов для заполнения пробелов.  

• Пример с разными предпочтениями пользователей.  

• Описание матричной факторизации и линейной регрессии.  

• Процесс оптимизации случайных чисел для улучшения прогнозов.  

• Пример с алгоритмом чередующихся наименьших квадратов.  

• Подведение итогов теории машинного обучения.  

• Переход к практической реализации проекта с использованием Apache Spark.  

• Призыв к участникам попробовать код на GitHub.  

• Spark позволяет запускать алгоритмы на нескольких компьютерах, обеспечивая масштабируемость.  

• Предоставляет широкий спектр стандартных библиотек для выполнения общих алгоритмов, включая машинное обучение.  

• Все данные хранятся в памяти, что обеспечивает высокую скорость выполнения.  

• Настройка конфигурации для локального мастера позволяет использовать все ядра компьютера.  

• Звездочка в конфигурации задействует все ядра, что может разрядить батарею ноутбука.  

• Рекомендуется использовать уникальное имя приложения для предотвращения конфликтов.  

• Контекст Spark позволяет писать программы, не думая о разделении на узлы.  

• Пример использования текстового файла и выполнения сопоставлений.  

• Подсчет данных в Spark выполняется автоматически, что может быть быстрее, чем выполнение вручную.  

• Spark автоматически разделяет данные на разделы и отправляет их на обработку.  

• Важно использовать доступные по сети источники данных, такие как HDFS или SQL.  

• Код отправляется на несколько узлов, которые должны быть сохранены в одной папке.  

• Использование Cassandra для хранения данных и обучения моделей.  

• Метод наименьших квадратов для обучения моделей.  

• Обучение модели занимает много времени, но использование модели происходит быстро.  

• Создание реактивной модели для фонового обучения.  

• Использование Apache Spark для обучения модели в фоновом режиме.  

• Модель остается доступной для пользователей, пока идет обучение.  

• Рекомендательная система actor принимает сообщения для обучения и выработки рекомендаций.  

• Модель может быть пустой при первом запуске.  

• Система принимает результат обучения от обучающего актера.  

• Обучающий актер вызывает функцию обучения и отправляет ответ в систему рекомендаций.  

• Модель обучается на основе данных пользователя и позиций.  

• Модель возвращает набор позиций, которые можно преобразовать в нужный формат.  

• Для использования модели достаточно одной строки кода.  

• Не нужно знать статистику или линейную регрессию.  

• В случае отсутствия обученной модели возвращается пустой список.  

• Сравнение новой матрицы с оригинальной для проверки.  

• Создание матрицы путаницы для отслеживания ложноположительных и ложноотрицательных результатов.  

• Вычисление точности и запоминания.  

• Сохранение списка рекомендаций и отслеживание кликов пользователей.  

• Бинарная оценка: клик - положительный результат, отсутствие клика - отрицательный результат.  

• Обработка нескольких цифр для оценки точности.  

• Пример с четырьмя рекомендованными пунктами.  

• Оценка точности и запоминания на основе кликов и показанных элементов.  

• Проблемы с системой рекомендаций и необходимость оптимизации.  

• Увеличение количества элементов для показа пользователю.  

• Использование техники восстановления цифр для отслеживания изменений.  

• Машинное обучение требует постоянного мониторинга и оптимизации.  

• Демонстрация метода "рекомендовать продукт".  

• Обучение модели на всех пользователях и необходимость переучивания модели.  

• Сохранение модели в памяти или на диске для дальнейшего использования.