Архитектура DWH: популярные инструменты ETL - Марина Зенкова

• Приветствие и представление Марины Зенковой.  

• Марина работает в направлении аналитики и инженерии данных более шести лет.  

• Тема доклада: архитектура DWH и популярные инструменты.  

• DWH помогает организациям преобразовывать большие объемы данных в полезную информацию.  

• Обсуждение различных архитектурных подходов: дата-лейк, дата-фактори, дата-лейк-хаус, дата-мэш.  

• Обзор инструментов для реализации дата-лейк-хауса в российских компаниях.  

• DWH - корпоративное хранилище данных, централизованное управление и хранение структурированных данных.  

• Преимущества DWH: интеграция множества источников данных, оптимизация операций чтения, обеспечение историчности данных, управление мастер-данными, улучшение качества данных, минимизация участия ИТ в создании отчетов.  

• Первые коммерческие СУБД появились в 60-е годы.  

• В 70-е годы возникли революционные базы данных и язык SQL.  

• В 80-е годы зародилась концепция DWH.  

• В 90-е годы развивалась методология DWH и технология OLAP.  

• В 2000-е годы произошел взрывной рост объемов данных и появились новые типы данных.  

• В 2010-е годы активно развивались облачные технологии и искусственный интеллект.  

• Дата-лейк - хранилище всевозможных типов данных без нативного вычислительного движка.  

• Преимущества дата-лейк: недорогой способ хранения неограниченного объема данных, хранение потоковых данных.  

• Недостатки дата-лейк: перекрещивающиеся операции, необходимость навыков дата-инженера, отсутствие поддержки транзакций и аудита операций.  

• Современное хранилище данных MDW объединяет преимущества дата-лейк и DWH.  

• MDW позволяет хранить данные в дата-лейке и обрабатывать их в DWH.  

• В 2016 году появился новый подход - дата-фабрик, который добавляет политики доступа, управление мастер-данными и API.  

• В 2020 году компания DataBricks представила концепцию Data Lake House.  

• Data Lake House отличается от Data Lake отсутствием контура DWH.  

• Добавлен транзакционный слой хранения данных для обработки перекрещивающихся операций записи и чтения.  

• Транзакционный слой реализуется через табличные форматы данных, такие как Iceberg, Hudi, Delta Lake.  

• Эти форматы позволяют Data Lake работать аналогично реляционной базе данных.  

• Data Mesh не является технологией, а скорее идеей.  

• Вопросы: кто является владельцем данных, как масштабировать технические и организационные решения, кто отвечает за качество данных.  

• Data Mesh предполагает создание независимых доменов с собственными мини-командами для управления данными.  

• Архитектура Data Lake House популярна среди компаний.  

• Архитектура медальон включает слои данных: бронзовый, серебряный, золотой и платинум.  

• В российских компаниях часто используется разбивка на слои: сырой слой, операционный слой, дельта-дата и дата-март.  

• Инструменты для реализации Data Lake House: Debezium, Kafka Connect, Spark Streaming, Iceberg, Airflow, Trino, Data Build Tool.  

• Debezium используется для мониторинга и репликации данных в реальном времени.  

• Airflow и Trino применяются для обработки данных и выполнения запросов.  

• Архитектор DWH агрегирует обязанности архитектора данных и архитектора платформенных решений.  

• Архитектор DWH отвечает за архитектуру всей организации и DWH.  

• Проектирование моделей данных: дата-волт, якорное моделирование, схемы звезды и снежинки.  

• Оптимизация производительности платформы: индексирование, позиционирование, методы улучшения запросов.  

• Стандартизация работы с данными: написание регламентов и стандартов, взаимодействие с командой аналитиков.  

• Интеграция системы DWH в ИТ-инфраструктуру организации.  

• Выбор технологий и систем для решения бизнес-задач.  

• Понимание DevOps, управление конфигурациями, настройка сервисов и серверов.  

• Взаимодействие с командой DevOps, а не с аналитиками.  

• Вопросы можно задавать на YouTube и в Telegram.  

• Минимальные требования для перехода в профессию: понимание работы инструментов для загрузки, обработки и хранения данных.  

• Важно работать с различными инструментами и понимать их работу.  

• Переход возможен из позиции аналитика или системного аналитика DWH.  

• Рекомендуется сначала поработать инженером данных для лучшего понимания технических аспектов.  

• Важно взаимодействовать с дата-инженерами для решения технических вопросов.  

• Понимание распределенной обработки данных и подходов к проектированию.  

• Знание слоев DWH, моделей данных и основных инструментов.  

• Понимание различий между базами данных и их применения.  

• В разных компаниях архитектор данных может заниматься техническими или аналитическими вопросами.  

• В некоторых компаниях архитектор данных может нанимать аналитиков для проектирования слоев данных.  

• DDS является аналогом DWH.  

• В DDS не должно быть дублирующихся данных.  

• Новые данные должны поступать в стейджинг или ODS.  

• Проектирование по схемам снежинка, звезда, якорь и дата-волт.  

• Эти схемы используются в DWH и Data Lake House.  

• Разделение бизнес-дата-вольта и сырого дата-вольта.  

• Сырой дата-вольт строится на слое ОДС, бизнес-дата-вольт - на слое ДДС.  

• Аналитический слой используется для снежинок и звезд.  

• Дата-лейк используется для хранения сырых данных без трансформаций.  

• В дата-лейке не применяется моделирование и трансформации.  

• Airflow - это инструмент TIL.  

• Позволяет подключаться к различным источникам данных и выполнять трансформации с помощью Python-кода.  

• Подходит для подключения к файловым системам, SFTP-серверам, базам данных и другим источникам.