Управление секретами в Airflow 2.0

• Начало вебинара, приветствие участников.  

• Представление спикеров: Фазал, корпоративный архитектор и астроном.  

• Призыв задавать вопросы в чате и оставить время для вопросов в конце.  

• Airflow - проект Apache Software Foundation, используемый более чем миллионом инженеров и тысячами компаний.  

• Введение в управление секретами в Airflow 2.0.  

• Три типа секретов: переменные, соединения и настройки.  

• Переменные среды как простой способ хранения секретов.  

• Ограничения: отсутствие встроенного шифрования и необходимость ручного управления.  

• Преимущества: простота использования и безопасность в Kubernetes.  

• Гибкость и возможность взаимодействия с переменными и подключениями.  

• Автоматическое шифрование и возможность экспорта и импорта.  

• Ограничения: не одобрено специалистами по безопасности в производственной среде.  

• Использование альтернативных бэкендов для хранения секретов.  

• Примеры: Hashicorp Vault, GCP Secrets Manager, AWS Secrets Manager и другие.  

• Преимущества: безопасность, резервирование, аудит и возможность управления версиями.  

• Возможность гибкого выбора комбинации секретных типов в бэкенде.  

• Пример использования Vault и базы данных Airflow Metastore.  

• Возможность настройки конфигурации для исключения поиска секретов в определенных местах.  

• Airflow ищет секреты в определенном порядке: сервер альтернативных секретов, переменные окружения, база данных Metastore.  

• Возможность манипулирования порядком операций для управления секретами.  

• Временное переопределение секретов в среде разработки.  

• Интеграция Airflow с ролями IAM для управления секретами без физического управления.  

• Преимущества: безопасность, гибкость, простота управления.  

• Пример с Google Cloud и AWS, где учетная запись облачного сервиса привязана к учетной записи Kubernetes.  

• Возможность централизованного управления всеми секретами без необходимости использования учетных данных в открытом тексте.  

• Преимущества для команд безопасности и упрощение управления.  

• Использование идентификатора рабочей нагрузки или ролей IAM для облачных ресурсов.  

• Альтернативные серверы секретов для конфиденциальной информации.  

• Переменные окружения и база данных Metastore для переменных и информации о подключении.  

• Использование Vault или других альтернативных серверов секретов для локальной разработки.  

• Возможность использования учетной записи пользователя с доступом к облачным ресурсам.  

• Переменные окружения как менее безопасный вариант.  

• Использование Airflow для организации, конвейеризации и планирования.  

• Интеграция с системами для других целей.  

• Разработка стратегии управления секретами и контроля доступа.  

• Использование правильной комбинации секретных бэкендов для гибридного подхода.  

• Переход к примерам кода для демонстрации работы.  

• Весь код будет доступен для использования в рабочих нагрузках.  

• Вопросы из чата будут рассмотрены после разбора примеров.  

• DAG реализует задачу variables для извлечения переменных из бэкендов secrets.  

• Включает задачи connection и bigquery load.  

• Код нарушает правило Кентона о наилучших практиках.  

• Задача подключения использует функцию getconnection.  

• Задача переменных вызывает переменную hello.  

• Задача загрузки bigquery извлекает имя корзины и таблицы из переменной.  

• Переменные можно маскировать для конфиденциальности.  

• Порядок действий: альтернативные секреты, серверная часть, переменные окружения, база данных metastore.  

• Пример с переменной hello для демонстрации порядка действий.  

• Соединения должны соответствовать шаблону: путь подключения, имя идентификатора, uri соединения.  

• Пример настройки соединения для workload identity.  

• Логи для задачи переменных показывают, что информация извлекается из переменных окружения.  

• Установка параметров airflow configuration для использования vault.  

• Использование null для пути к переменным для устойчивости.  

• Пример использования vault для переменных и соединений.  

• Промо-акция на сертификационный курс по airflow.  

• Промо-код для 100% скидки на курс.  

• Призыв к регистрации и участию.  

• Возможность использования разных внешних серверных частей secrets для разных рабочих пространств.  

• Настройка альтернативных серверных частей в файле docker.  

• Гибридный подход для переменных и связей в airflow.  

• Настройка хранилища для подключения к Vault или другому менеджеру секретов.  

• Использование порядка выполнения операций для поиска переменных.  

• Возможность использования переменных окружения и базы данных metastore.  

• Возможность использования одного альтернативного бэкенда secrets.  

• Текущая поддержка только одного альтернативного бэкенда.  

• Возможность запроса новой функции для поддержки двух бэкендов.  

• Использование API Vault для управления секретами.  

• Настройка пути подключения и переменных для Vault.  

• Совершение внешних вызовов только при необходимости.  

• Простота настройки Vault и других инструментов.  

• Хорошая документация по настройке серверных частей в Airflow.  

• Легкость начала работы с инструментами управления секретами.  

• Личный опыт внесения изменений в бэкенды Airflow.  

• Важность честного и открытого мышления в сообществе разработчиков.  

• Поддержка от команды Airflow PMC.  

• Возможность использования токенов доступа вместо JSON-ключей для подключения к ресурсам GCP.  

• Использование идентификатора рабочей нагрузки для токенов доступа.  

• Защита учетных данных через файл cfg и переменные окружения.  

• Важность контроля доступа к среде, в которой работает Airflow.  

• Использование шаблонов безопасности для защиты развертывания.  

• Возможность использования CI/CD для загрузки соединений и переменных в базу данных метаданных.  

• Использование API для автоматического обновления соединений.  

• Возможность использования переменных окружения для хранения конфиденциальной информации.  

• Пример использования токена пользователя для Vault.  

• Использование роли приложения для работы в продакшене.  

• Вопрос о возможности использования IAM для аутентификации в Vault на ECS.  

• Ответ: не уверен, возможно ли это, но можно использовать IAM для аутентификации конкретных ресурсов AWS.  

• Обсуждение необходимости дополнительных знаний для реализации этой функции.  

• Вопрос о добавлении примера использования серверной части Secrets в Azure.  

• Ответ: да, можно добавить пример для пользователей Azure.  

• Завершение обсуждения и приглашение задавать дополнительные вопросы.  

• Призыв оставлять вопросы и предложения для дальнейшего обсуждения.  

• Благодарность за участие и обсуждение тем.  

• Анонс следующего вебинара и статьи.