Задача для Data-инженеров: сортируем анекдоты с помощью Apache Airflow/Apache NiFi

• Прощание с участником, который не уложился в дедлайны.  

• Обсуждение трех вариантов для дашбордов и аналитики.  

• Представление новых экспертов курса "Дата инженер".  

• Ася, дата инженер, делится своим опытом в курсе.  

• Николай Акимов, специалист по NoSQL, рассказывает о своем модуле в курсе.  

• Формат шоу с участием IT-специалистов и юмором.  

• Задание: обработка данных с использованием разных инструментов.  

• Команды делятся на две группы: одна работает с Airflow, другая с Apache Kafka.  

• Рандомайзер-баттл для распределения инструментов.  

• Участники работают с Airflow для обработки данных.  

• Описание пайплайна для обработки шуток.  

• Использование нейронной сети для фильтрации данных.  

• Участники работают с Apache Kafka для фильтрации и раскладывания шуток.  

• Описание процесса фильтрации и распределения данных по базам.  

• Использование регулярных выражений и искусственного интеллекта для фильтрации.  

• Создан отдельный флоу для подключения к базам данных и создания таблиц.  

• Флоу запускается один раз и позволяет избежать использования клиента.  

• Все шутки успешно записаны в таблицы в базах данных.  

• Все процессоры, создающие таблицы, отработали успешно.  

• Созданы три таблицы в базах данных.  

• Файл с шутками прочитан и распределен по базам данных.  

• Шутки про Чапаева, Штирлица и Чака Норриса записаны в базы данных.  

• Используется Groovy Script для записи данных в нужный файл.  

• Все данные, которые не удалось определить, дописываются в указанный файл.  

• Команда Airflow показала высокий уровень работы с Python и нейросетями.  

• Команда NiFi преодолела трудности с белым листом и создала работающий флоу.  

• NiFi лучше подходит для потокового процессинга, чем Airflow.  

• Обе команды получили высшие баллы за свои работы.  

• Участники поделились, как им удалось сохранить мотивацию и не бросить обучение.  

• Поддержка команды и наличие плана помогли им преодолеть трудности.  

• Алексей получил два дополнительных балла по итогам голосования в Telegram.  

• Итоговая таблица обновлена.  

• В следующей серии будет финал, где результаты могут измениться.