Системный аналитик и DWH: всё, что ты хотел знать, но боялся спросить

• Приветствие от Екатерины Ананевой, ведущей подкаста.  

• Гость: Екатерина Колпакова, руководитель направления Data Warehouse и Business Intelligence в компании Emix.  

• Тема: анализ данных и взаимодействие системных и бизнес-аналитиков.  

• Екатерина работала аналитиком данных в крупных компаниях, таких как Тинькофф, ВКонтакте, Ситимобил, Альфа-Банк, МТС Банк.  

• Прошла путь от дата-аналитика до архитектора хранилища данных.  

• Начала программировать в 10 лет, но выбрала карьеру дата-аналитика.  

• Екатерина изначально была программистом на Delphi, но перешла в дата-аналитику.  

• Альфа-Банк пригласил её на собеседование по анализу данных.  

• Изучала концепции проектирования хранилищ данных, читая книги Ральфа Кимболла.  

• Разработчики и дата-аналитики используют разные языки программирования.  

• Разработчики хранилищ данных используют декларативное программирование.  

• Логика, здравый смысл и критическое мышление важны для обеих ролей.  

• Data Warehouse DWH — это большая база данных, объединяющая данные из всех других баз данных компании.  

• Используется для аналитики и принятия решений на основе объединенных данных.  

• Пример: компания Emix, международный холдинг с 8 миллионами уникальных пользователей в месяц.  

• В Emix DWH помогает управлять сложными бизнес-процессами, такими как фулфилмент.  

• Пример из Эмиратов: отслеживание заказов и предотвращение загромождения складов.  

• Пример из России: отслеживание потерянных коробок с запчастями.  

• DWH собирает данные из разных систем и организует их для аналитики.  

• Система отчетности BI — это лицо хранилища данных.  

• BI-система собирает данные, очищает их и представляет в удобном для аналитики формате.  

• BI система объединяет разрозненные борды в единую систему.  

• Включает информационные борды, борды типа "алерты" и аналитические отчеты.  

• Отдел BI занимается созданием отчетов на базе данных, собранных отделом DWH.  

• Настройка отчетов может выполняться BI-инженером или дата-аналитиком.  

• Встречаются попытки создания кастомных BI-инструментов, но это редко успешно.  

• Примеры успешных решений: Яндекс.Лэнс, но они уступают мировым стандартам, таким как Tableau, ClickHouse, Power BI.  

• DWH - это большая база данных, где собираются все необходимые данные.  

• Архитектор DWH проектирует хранилище, а аналитики данных настраивают BI-инструменты для визуализации данных.  

• Используются различные СУБД, такие как PostgreSQL, MongoDB, Redis.  

• Для быстрого хранилища данных используются MPP базы данных, которые обрабатывают данные параллельно на нескольких серверах.  

• В России доступны Greenplum, Vertica, Exosol, Snowflake.  

• Проектирование хранилищ данных отличается от обычных баз данных способом организации таблиц и процессами их наполнения.  

• BI система аналогична микросервису, который извлекает данные из хранилища.  

• В микросервисной архитектуре есть отдельные базы данных для каждого микросервиса.  

• Данные поступают в аналитическую базу данных через Kafka.  

• Kafka служит единой точкой входа для данных в хранилище.  

• Данные из Kafka передаются в базу данных и далее в BI систему для аналитики и уведомлений.  

• Kafka используется для передачи данных в централизованное место.  

• В компании LinkedIn Kafka помогает обрабатывать миллионы записей в секунду.  

• Kafka используется для отчетности, аналитики и мониторинга.  

• Системные аналитики DWH проектируют базы данных.  

• Системные аналитики взаимодействуют с дата-аналитиками и дата-инженерами.  

• Дата-аналитики являются основными заказчиками данных в хранилище.  

• Дата-инженеры разрабатывают программы для интеграции данных.  

• Они создают дата-пайплайны и проверяют качество данных.  

• Дата-инженеры пишут операторы и программы для обработки данных.  

• Дата-инженеры тесно сотрудничают с разработчиками систем источников данных.  

• Важно, чтобы разработчики понимали потребности аналитиков.  

• Изменения в системах источников должны учитывать аналитические потребности.  

• Дроп таблицы без уведомления может привести к проблемам.  

• Переименование таблиц также может повлиять на кодовую базу.  

• Важно понимать взаимодействие между дата-инженерами и разработчиками основной системы.  

• Микросервисы отправляют данные в Kafka при событиях.  

• Дата-инженеры подключаются к Kafka и обрабатывают данные.  

• В идеальном мире данные передаются напрямую из базы в Kafka.  

• В старых системах данные могут не передаваться в Kafka.  

• Используются технологии, такие как Debezium, для передачи изменений в Kafka.  

• Разработчики пишут процедуры для доставки данных в Kafka.  

• Oracle 2003 года был слишком старым для современных коннекторов.  

• Разработчики и дата-инженеры искали способы передачи данных.  

• Важно было сохранить данные для аналитики.  

• Данные в Kafka могут быть в формате JSON.  

• Разработчики могут добавлять новые поля и таблицы без ущерба для данных в Kafka.  

• Важно не повредить сообщения в Kafka.  

• Изменения в системе-источнике могут повлиять на данные в Kafka.  

• Новые поля могут игнорироваться или контролироваться дата-аналитиками.  

• Важно писать процесс загрузки данных так, чтобы изменения не влияли на текущие данные.  

• Пример с банком, где ошибка в системе-источнике привела к некорректным данным.  

• Ошибка была допущена джуном, который обновил данные на продакшене вместо теста.  

• Важно учитывать влияние изменений на другие системы и интеграции.  

• Изменения в базе данных могут повлиять на другие системы.  

• Важно тщательно обдумывать изменения, чтобы избежать негативных последствий.  

• Работайте вместе с дата-инженерами для слаженной интеграции данных.  

• Важно, чтобы системные аналитики и дата-аналитики понимали друг друга.  

• Системным аналитикам и дата-аналитикам нужно знать не только технические аспекты, но и бизнес-процессы компании.  

• Это поможет быстрее решать задачи и договариваться с коллегами.  

• Дата-аналитикам полезно знать, как работает хранилище данных.  

• Системные аналитики должны понимать, что анализ данных помогает ставить корректные задачи для бизнеса.  

• Важно, чтобы все сотрудники понимали миссию компании и работали на её благо.  

• ИТ-работа требует много умственных усилий и посвящения.  

• Осознание важности своей работы помогает воспринимать её как любимую и полезную.  

• ИТ-системы помогают бизнесу находить проблемы и улучшать процессы, что увеличивает прибыль и удовлетворенность сотрудников.  

• Автоматизация ручных процессов улучшает работу сотрудников.  

• Анализ данных помогает оптимизировать оптимизированные процессы.  

• Каждое решение уникально, но можно подсмотреть идеи для улучшения.  

• Подписывайтесь на подкасты в различных платформах.  

• Ведущие подкаста: Екатерина Колпакова и Екатерина Ананева.  

• До встречи в новых эпизодах.