Масштабирование Kubeflow для мультитенантности в Spotify - Кеши Дай и Джонатан Джин, Spotify

• Приветствие и представление конференции KubeCon, посвященной масштабированию Kubeflow для многопользовательской работы в Spotify.  

• В Spotify используется платформа Kubeflow для машинного обучения, состоящая из двух основных компонентов: Python SDK и управляемых кластеров Kubeflow GKE.  

• Платформа помогает управлять рабочими нагрузками ML и ускоряет темп экспериментов с моделями и их развертывание.  

• В Spotify используют четыре кластера Kubeflow, созданные с помощью Terraform и управляемые через Kubernetes.  

• В 2020 году платформа Kubeflow была расширена для поддержки нескольких арендаторов, что позволило командам работать в изолированной и самоуправляемой среде.  

• В Spotify разработали собственный инструмент управления командой для кластера Kubeflow, который позволяет командам работать в пространстве имен и управлять доступом к данным и ресурсам.  

• Этот инструмент позволяет легко воспроизводить и импортировать настройки пространства имен команды в другой кластер.  

• Пример профиля команды включает имя, групповой адрес электронной почты, учетную запись службы GCP, список дополнительных пользователей и переопределение квоты ресурсов.  

• После определения конфигурации команды, инструмент автоматически преобразует ее в набор файлов ресурсов Kubernetes.  

• В видео обсуждается новая мультиклассовая стратегия Kubeflow, которая была разработана для поддержки инфраструктуры ml.  

• Эта стратегия позволяет пользователям обновлять свои трубопроводы в соответствии с их собственными графиками, что упрощает процесс модернизации инфраструктуры.  

• В видео описывается мультикластерная платформа Kubeflow, которая состоит из трех кластеров: экспериментального, продуктового и кластера разработчиков.  

• Эта платформа гарантирует совместимость между конвейерами и инфраструктурой.  

• В видео рассказывается о работе, проделанной в области развертывания и мониторинга для поддержки мультикластерной стратегии.  

• В частности, используется Argo CD для автоматизации развертывания и обеспечения надежности продукта.  

• В видео подчеркивается важность использования инфраструктуры как кода для обеспечения надежности и стандартизации инфраструктуры.  

• Это позволяет формализовать и стандартизировать процессы развертывания, мониторинга и метрик.  

• В видео обсуждается тема наблюдаемости и отслеживания SLO (Service Level Objectives) в платформе Kubeflow.  

• Kubeflow использует Terraform для отслеживания SLO, включая бюджет ошибок и скорость записи.  

• Kubeflow State Metrics отслеживает события Kubernetes, такие как создание модуля или изменение расписания, и преобразует их в соответствующие показатели Prometheus.  

• Это позволяет отслеживать время выполнения конвейерных модулей Kubeflow, время их пребывания в кластере после выполнения и другие показатели.  

• Инвестируйте в наблюдаемость и надежность заранее, чтобы пользователи могли сосредоточиться на своих задачах.  

• Расширьте свое представление о продукте, чтобы использовать преимущества Kubernetes как общего уровня абстракции.  

• Увеличение инвестиций в наблюдаемость, формализацию показателей и предоставление метрик пользовательского конвейера для интеграции в системы оповещения и мониторинга.  

• Увеличение инвестиций в кластерные вычисления, управление учетными записями служб, разрешениями и политиками хранения.  

• Вклад в сообщество с открытым исходным кодом и использование своих разработок с открытым исходным кодом в процессе производства.