ВВЕДЕНИЕ В AIRFLOW / ПОНЯТИЕ DAG'а / НАСТРОЙКА DAG'а В AIRFLOW

• Приветствие от Романа Пономарева и Дмитрия Боженко.  

• Дмитрий рассказывает о популярном инструменте Airflow.  

• Призыв к зрителям подключаться к Zoom для удобства и вопросов.  

• Дмитрий объясняет, что доклад будет в формате общения.  

• Цель доклада - введение в Airflow, его базовые возможности и ограничения.  

• Доклад не будет содержать сложных или продвинутых тем.  

• Airflow помогает в обработке данных, состоящей из нескольких этапов.  

• Инструмент обеспечивает последовательное выполнение этапов и обработку ошибок.  

• Airflow подходит для регулярных запусков и мониторинга.  

• Часто задают вопрос, зачем нужен Airflow, если есть Cron.  

• Cron имеет ограничения, такие как сложность настройки и невозможность повторного запуска.  

• Airflow лучше подходит для современных задач обработки данных.  

• Настройка Flow для боевых условий - отдельная тема.  

• Пример настройки будет показан на лекции и выложен на GitHub.  

• Материалы будут доступны для скачивания и запуска.  

• Основная сущность Flow - направленный граф без циклов.  

• Логика выполнения операций линейная: данные, обучение модели, валидация, публикация.  

• Графы позволяют запускать операции в правильном порядке.  

• Flow имеет красивый интерфейс и хорошо масштабируется.  

• Flow - индустриальный стандарт, используемый многими компаниями.  

• Альтернативы: Luigi, Яндекс.Нирвана и другие менее популярные инструменты.  

• Flow состоит из главной страницы и элементов, каждый из которых является графом.  

• Графы включают узлы, последовательности и дополнительные параметры, такие как расписание запуска и теги.  

• Сегодня будут добавлены и настроены свойства графов.  

• Flow сложен и не всегда очевиден для пользователей.  

• Ограничения и устаревания могут затруднять работу.  

• Flow состоит из библиотеки, веб-приложения, планировщика задач, воркера и базы данных.  

• В примере используется дефолтная база данных SQLite.  

• На продакшн версии рекомендуется использовать другие базы данных.  

• Более подробная информация доступна по ссылкам.  

• Граф состоит из характеристик и операторов.  

• Операторы - это исполняемые элементы графа.  

• Начинаем создавать граф с простых элементов.  

• Используем папку "dax" для хранения графов.  

• Airflow импортирует графы из этой папки.  

• Airflow запущен внутри Docker на Mac.  

• Docker собран на основе Ubuntu.  

• Внесены небольшие изменения в конфигурационный файл.  

• Используются зависимости, доступные внутри Docker.  

• Создаем файл "dag" для хранения графа.  

• Объявляем переменную "dag" и задаем её свойства.  

• Указываем наименование и старт выполнения графа.  

• Создаем операцию для выполнения команды.  

• Указываем команду и идентификатор операции.  

• Запускаем операцию и проверяем её выполнение.  

• Добавляем вторую операцию, которая ждет 5 секунд.  

• Строим последовательность выполнения операций.  

• Запускаем граф и проверяем его выполнение.  

• Добавляем третью операцию, которая ждет 10 секунд.  

• Объявляем четвертую операцию, зависящую от предыдущих.  

• Объясняем, как операции относятся к графу.  

• Bash - это язык программирования для выполнения команд в терминале Unix.  

• Примеры команд: `ls` для вывода списка файлов, `echo` для вывода текста.  

• Bash позволяет запускать сложные программы и выполнять логику.  

• Bash можно освоить за вечер.  

• Пример: создание графа из четырех элементов, где первый элемент зависит от второго и третьего.  

• Ошибки в описании графа выявляются и исправляются автоматически.  

• Пример графа с ошибками: дубликаты задач и пропущенные задачи.  

• Исправление ошибок и проверка корректности графа.  

• Пример выполнения графа: операции выполняются в определенном порядке.  

• Пример графа для обработки данных: скачивание датасета, расчет метрик и вывод на дешборд.  

• Использование Python для анализа данных.  

• Пример использования Python операторов для обработки данных.  

• Использование Python операторов для обработки данных.  

• Пример: скачивание и обработка датасета "Титаник".  

• Создание простого примера для обработки данных.  

• Импорт данных и их обработка.  

• Пример: группировка данных по классу и подсчет средней выживаемости.  

• Сохранение обработанных данных в файл.  

• Создание крафтового потока для обработки данных.  

• Использование шпаргалки для упрощения процесса.  

• Импорт необходимых модулей и создание функций для обработки данных.  

• Создан первый оператор для скачивания и преобразования данных.  

• Второй оператор для трансформации датафрейма.  

• Важно, чтобы операторы запускались из одной директории для корректной работы.  

• В учебном примере используется корневая директория для запуска.  

• Важно сохранять данные на жестком диске для возможности дозапуска графа.  

• Запуск операторов в эр-флоу и проверка выполнения.  

• Проверка последовательности выполнения операторов.  

• Убеждение в успешном выполнении команды.  

• Проверка наличия файлов в корневой директории.  

• Исправление ошибки с закрытием консоли.  

• Проверка содержимого файлов в докере.  

• Успешное выполнение команды и проверка файлов на наличие.  

• Возможность запуска произвольного кода из Python.  

• Пример использования SQL-запросов для получения данных.  

• Подключение к базе данных через Python.  

• Важность визуального мониторинга выполнения кода.  

• Пример с багом в коде, который можно отследить через Grafana.  

• Возможность исправления ошибок и доработок кода.  

• Возможность доработок кода при проблемах с внешними источниками.  

• Пример с внешней базой данных, которая вышла из строя.  

• Возможность доработок кода для предотвращения пропусков данных.  

• Уникальные имена в DAG для предотвращения конфликтов.  

• Пример с переименованием DAG и проверкой его работы.  

• Важность уникальных имен для корректной работы.  

• Добавление параметров и расписаний в DAG.  

• Примеры параметров: email-уведомления, ретрайты, тайм-ауты.  

• Возможность добавления собственных обработчиков ошибок и расписаний.  

• Вопрос о возможности автоматического проставления зависимостей между задачами.  

• Пример с загрузкой данных из ODBC и расчетом модели.  

• Необходимость автоматического обновления зависимостей для тысяч заданий.  

• В потоках данных тысячи объектов, и в каждом нужно прописывать зависимости вручную.  

• Цель - запустить один и тот же dag с разными входными данными, чтобы зависимости указывались автоматически.  

• Обсуждение элегантного решения для автоматического указания зависимостей.  

• Обсуждение добавления параметров и свойств к дагам.  

• Пример использования расписания для запуска дагов.  

• Переход к обсуждению переменных в дагах.  

• Переменные в дагах могут быть паролями или хостами, которые могут меняться.  

• Цель - хранить переменные в одном месте и изменять их через интерфейс.  

• Пример использования переменных в зашифрованном виде для хранения паролей.  

• Пример добавления и чтения переменных в дагах.  

• Импорт переменных и их использование в коде.  

• Демонстрация обновления значения переменной и его распечатки.  

• В интерфейсе на лейбе нельзя вручную представлять последовательность операций.  

• Это недостаток инструментов, так как не хватает юзер-френда.  

• Пример с индексовым инструментом, где можно рисовать зависимости вручную.  

• Ошибка при запуске из-за несуществующей переменной.  

• Перезапуск наждака для исправления.  

• Логи показывают, что все работает корректно.  

• Возможность изменения переменных в админке для удобства хранения паролей и хостов.  

• Разграничение доступов в проектах, где у всех был одинаковый доступ к ключам.  

• Возможность конфигурации доступа в проектах.  

• Вопрос о запуске Docker в Airflow.  

• Решение через пробрасывание ссылки на внешний демон Docker.  

• Пример запуска Docker-контейнеров через Airflow.  

• Создание файла с третьим этапом и использование Docker-оператора.  

• Пример базового запуска Docker-контейнера с командой "подождать 30 секунд".  

• Объяснение, как прокинуть ссылку на демон Docker.  

• Docker как виртуализированная среда для удобства работы.  

• Возможность запуска проектов на разных устройствах.  

• Пример использования Docker для запуска исполняемых файлов.  

• Ограничения запуска Docker в Docker.  

• Обходной путь через пробрасывание ссылки на демон Docker.  

• Запуск третьего этапа и проверка работы триггера.  

• Запуск графа с множеством элементов.  

• Граф встал в очередь, ожидая ресурсы.  

• Ограниченное процессорное время и необходимость ожидания.  

• Запуск Docker-контейнеров для выполнения задач.  

• Удобство использования Docker для отладки и настройки среды.  

• Возможность запуска более сложных операций, таких как обучение моделей.  

• Возможность указания зависимостей между дагами.  

• Логика выполнения задач и необходимость изоляции.  

• Пример с корпоративной моделью и сущностями.  

• Передача статусов между дагами для упрощения логики.  

• Возможность триггера на запуск другого дага.  

• Проблемы и решения для перезапуска задач.  

• Вопросы о подготовке к воркшопу и развертывании Docker.  

• Возможность проведения дополнительного воркшопа.  

• Обсуждение альтернатив Airflow, таких как Pлис.  

• Вопрос о запуске заданий на разных серверах.  

• Возможность использования bash-команд для замены cron.  

• Решение проблемы проброса данных между Airflow и Linux-серверами.  

• Можно использовать лисонеы для управления серверами в одной сети.  

• Более грамотный подход - использование Kubernetes для управления серверами.  

• Автор не имеет опыта настройки Kubernetes, но считает это правильным решением.  

• Вопрос о количестве дагов и ресурсах, необходимых для их запуска.  

• В практике автора хватало одного мощного сервера для всех задач.  

• Производительность зависит от типа данных и скорости их обработки.  

• Автор не имеет опыта перехода с первой версии на вторую.  

• Вопрос о сложности миграции с первой на вторую версию Airflow.  

• Предложение закругляться и обсуждение следующего воркшопа по покеру.  

• Автор планирует выложить материалы на GitHub для запуска своими руками.  

• Благодарности и прощание с участниками.