Всё о Kubernetes на Bare Metal (Андрей Квапил, WEDOS) / ♥ Kubernetes 14 февраля в Mail.ru Group

• Андрей Квапе, клауд-архитектор и DevOps-инженер в компании Веда.  

• Веда предоставляет услуги хостинга, VPS и выделенные серверы.  

• Планируется запуск собственной облачной платформы на базе OpenNebula.  

• Используются собственные серверные мощности и дата-центры.  

• Мета-инфраструктура производительнее виртуальных машин.  

• Физические сервера требуют меньше обслуживания.  

• Проблемы с управлением и отсутствием готовых решений.  

• Маленькие ноды лучше для распределения нагрузки.  

• Унифицированное управление серверами для начальной установки и мониторинга.  

• Необходимость 10-гигабитной сети и быстрых дисков для ЦОД.  

• Два варианта развертывания: автоматическая установка и живая загрузка по сети.  

• Использование HP Unshots для серверов с возможностью установки до 64 ГБ оперативной памяти.  

• Схема кластера: контрол-ноды и компьютерные ноды.  

• Компьютерные ноды загружают образ системы с нет-бут-серверов.  

• После загрузки ноды присоединяются к кластеру и распределяют нагрузку.  

• Использование системы на основе Ubuntu для добавления кастомного софта и модулей ядра.  

• Внешнее хранилище NFS или CIFS нестабильно и не поддерживает репликацию.  

• Кластерные файловые системы GlusterFS, LInux и OpenEBS удобны, но сложны и медленны.  

• Объектное хранилище и локальные тома LVM подходят для приложений, которые реплицируются из коробки.  

• Описание параметров доступа к сторожу и опций для создания тома.  

• Провизионирование создает физический том и описывает его в Kubernetes.  

• Kubernetes автоматически связывает том с запросом на хранение.  

• Провизионирование на нодах создает отдельные тома и маунтирует их.  

• Провизионировщик описывает параметры тома в Kubernetes.  

• При удалении тома данные удаляются, а том очищается для повторного использования.  

• Хост используется для проброса директорий и файлов, локальный — для хранения данных.  

• Не рекомендуется использовать корневую файловую систему для локального хранения.  

• Использование LUN-устройств для хранения данных.  

• LUN не является кластерной файловой системой, а оркестратором.  

• Позволяет создавать и управлять томами в Kubernetes.  

• Имеет высокую скорость и низкие накладные расходы.  

• Создание томов с репликами и использование Deduplication.  

• Возможность миграции нагрузки на ноды без жестких дисков.  

• Поддержка разделения сетей и планирования размещения реплик.  

• Запуск NFS-серверов в Kubernetes для обеспечения read/write.  

• Использование NFS версии 3 для предотвращения задержек.  

• Опции soft и hard для работы файловой системы при отключении сервера.  

• Механизм для уничтожения ноды при сбое.  

• Избегает ситуаций с разделением данных при перезапуске ноды.  

• Использование готовых агентов для реализации Fencing.  

• Использование одной большой L2-сети для каждого кластера.  

• Применение протокола TRILL для динамической маршрутизации.  

• Использование одного большого домена для всех нод.  

• Все ноды общаются друг с другом без динамической маршрутизации.  

• Разделение VLAN для сети подов и репликации.  

• Два варианта работы kube-proxy: по умолчанию и с засигненным IP.  

• Использование отдельных IP для сервисов, чтобы избежать проблем с маршрутизацией.  

• Утилита admin для удобного управления сервисами.  

• Использование пайп ворк для физического подключения интерфейсов.  

• Создание metalb для нативного решения в Kubernetes.  

• Metalb состоит из контроллера и спикера, которые анонсируют IP-адреса.  

• Использование ansible для управления физическими нодами.  

• Применение kubectl для управления кластером.  

• Использование ksonnet для декларативного описания приложений.  

• Использование Keycloak для аутентификации пользователей.  

• Прозрачная аутентификация для пользователей без дополнительных действий.  

• Возможность назначения ролей на пользователей и группы.  

• Увеличение объема данных в кластере.  

• Использование линтора для ресайза и релокации ресурсов.  

• Генерация NFS-серверов для использования в кластере.  

• Kubernetes используется для распределения нагрузки между узлами.  

• На каждой ноде работает один узел, выполняющий сложную задачу.  

• Kubernetes используется как оркестратор, а не для запуска рабочих нагрузок.  

• Kubernetes не решает проблему с DNS, это делается на уровне внутренней системы.  

• Существует сервис для управления внешним DNS через Kubernetes.  

• В DRBD используется специальная настройка для решения проблемы сплит-брейн.  

• В случае сбоя, поды перезапускаются на той же ноде, где была последняя операция записи.  

• Использование кворума DRBD предотвращает потерю данных.  

• Решение с DRBD масштабируется хорошо, особенно при использовании нескольких шасси.  

• Линтор позволяет реализовать различные стратегии размещения реплик.  

• В продакшне используется около 500 нод, и производительность остается высокой.  

• Дата локалити позволяет запускать поды на тех же нодах, где находятся реплики.  

• Это улучшает производительность, но потеря производительности при использовании DRBD незначительна.