Что такое Apache Airflow - Курсы "Школы Больших Данных" г. Москва

• Михаил Королев рассказывает о платформе Aeroflow.  

• Aeroflow создан сообществом для программного создания, планирования и мониторинга workflow.  

• Платформа помогает управлять задачами, аналогично Cron.  

• Aeroflow помогает в оркестрации задач.  

• Платформа аналогична Cron, но с человеческим лицом.  

• Рекомендуется использовать Aeroflow вместо других инструментов, таких как UCI.  

• Aeroflow использует язык Python для создания программ.  

• В новых версиях платформа упрощает процесс программирования.  

• Рекомендуется использовать вторую версию Aeroflow для исправления ошибок и добавления новых возможностей.  

• Aeroflow управляет потоком выполнения задач.  

• Пайплайн может быть дата-пайплайн или пайплайн для управления задачами.  

• Aeroflow оперирует последовательностью и зависимостью между задачами, без обязательного наличия потока данных.  

• Системы делятся на два класса: дата-флоу и веркфлоу.  

• Дата-флоу оперируют потоком данных, а веркфлоу управляют задачами без обязательного наличия данных.  

• Веркфлоу не требует хранения промежуточных данных, в отличие от дата-флоу.  

• Веркфлоу запускается по команде, а дата-флоу по наличию данных.  

• В обоих типах систем используются графы без циклов для упрощения управления задачами.  

• Airflow включает веб-сервер, который обеспечивает пользовательский интерфейс.  

• Scheduler отвечает за выполнение задач, а Executors запускают и управляют задачами.  

• Веркеры выполняют задачи, а конфигурация Airflow хранится в одном файле.  

• Метаданные хранятся в базе данных, а не в самой Airflow.  

• Веб-сервер и Scheduler всегда запущены и работают.  

• Executors инициируют запуск необходимых веркеров.  

• Интерфейс обеспечивает список всех задач, известных инстансу Airflow.  

• Задачи делятся на активные и приостановленные.  

• Сводка задач включает информацию о выполнении и владельцах.  

• Возможность централизованного просмотра логов всех запусков.  

• Логи автоматически попадают в интерфейс с метками времени.  

• Визуализация выполнения задач через диаграммы и графики.  

• Возможность просмотра кода задач, созданных на Python.  

• Визуализация продолжительности выполнения задач.  

• Удобство централизованного мониторинга и управления задачами.  

• Python файл, который привел к созданию дага, является актуальным кодом.  

• В интерфейсе веб-интерфейса RFlow можно изменять значения переменных.  

• В интерфейсе можно запускать и останавливать даг, а также влиять на процесс выполнения.  

• Стрелочки в RFlow показывают поток управления, а не данные.  

• DAG — это набор задач, организованный для выполнения.  

• Оператор — это минимальная единица исполняемого кода, выполняемая в своем пространстве.  

• Операторы делятся по назначению: действия и сенсоры.  

• Сенсоры ждут наступления события и могут быть использованы в готовых решениях.  

• Операторы также классифицируются по языку: Python, Bash и другие.  

• Композиция означает, что один оператор следует за другим.  

• По умолчанию, оператор два выполняется только при успехе оператора один.  

• Можно настроить множественность выполнения операторов.  

• Переменные — это пары ключ-значение, хранящиеся в базе метаданных.  

• Переменные используются для передачи информации между операторами.  

• Таски — это операторы на этапе выполнения, с разными статусами.  

• RFlow — это инструмент оркестрации, а не разработки.  

• Код разрабатывается и отлаживается в других местах, а затем заворачивается в RFlow.  

• Airflow используется для оркестровки кода, разработанного в Spark.  

• Airflow не является инструментом разработки, а предназначен для выполнения кода по расписанию.  

• Airflow не решает все проблемы, а является инструментом для создания и управления конвейерами данных.  

• Airflow не подходит для всех задач и не решает проблемы с промежуточным хранением данных.  

• Каждый оператор в Airflow должен выполнять все действия самостоятельно, включая загрузку и сохранение данных.  

• Airflow не предоставляет способов хранения промежуточной информации.  

• Пример пайплайна для объединения данных из разных источников.  

• В классическом Airflow каждый оператор выполняет все действия самостоятельно.  

• Использование Spark и Livy позволяет упростить пайплайн и выполнять операции параллельно.  

• Пример реализации пайплайна с использованием Spark и Livy.  

• Параллельное чтение и запись данных позволяет выполнять операции быстрее.  

• Livy позволяет держать сессию Spark открытой и кормить её операторами.  

• Airflow — это инструмент для оркестрации выполнения задач, заменяющий Cron.  

• В школе больших данных есть курс по Airflow, где подробно разбираются его возможности.  

• Ссылка на курс доступна на экране.