Александра Попова — Airbyte. 2 года в продакшене

• Arbuteau - инструмент из современного дата-стека.  

• Автор доклада приложил руку к созданию Arbuteau для здоровья.  

• Саша расскажет о текущем состоянии Arbuteau в компании.  

• Презентация будет в виде таймлайна.  

• В 2021 году в СберЗдоровье использовали облако, BigQuery и внутренние базы данных.  

• Данные забирались с помощью скриптов, что было неэффективно и разнородно.  

• Цель: отказаться от скриптов, стандартизировать подход и использовать Arbuteau.  

• Arbuteau имеет большое комьюнити и множество готовых коннекторов.  

• В команде было больше специалистов по Python, поэтому выбрали Python SDK.  

• Python SDK предоставляет готовые абстрактные классы и методы для наследования и реализации логики.  

• Появился коннектор для ленивых и инструмент для локального тестирования.  

• Телефон-провайдер позволяет создавать источники и расписания.  

• Архитектура Arbuteau: микросервисная, ядро на Java, коннекторы на Python.  

• Arbuteau имеет микросервисную архитектуру с ядром на Java.  

• Коннекторы до баз данных написаны на Java и Python.  

• Воркеры выполняют операции синхронизации данных, делятся на синхронные и асинхронные.  

• Методы синхронизации включают рефреш, оверрайт, инкрементальную синхронизацию и дедупликацию.  

• Синхронизация по под капотом использует Redis и MongoDB.  

• Расписание синхронизации: по тайм, по крону, ручной запуск.  

• В 2021 году решили использовать Arbuteau для забора данных.  

• В начале 2022 года начали писать коннекторы и создавать их через UI.  

• Миграция из Google Cloud в Яндекс Cloud заняла около двух месяцев.  

• Команда столкнулась с трудностями при использовании Nifi для переноса данных.  

• Решили использовать Airbyte, который умел собирать данные из баз.  

• Возникла проблема с отсутствием коннектора для Greenplum, но был коннектор для PostgreSQL.  

• В Airbyte не было возможности создавать именованные коннекшены через UI.  

• Решили использовать API для создания коннешенов и источников.  

• Создали YAML-файл для описания стримов и таблиц, а также способа забора данных.  

• Аналитики заметили, что в поле с типом данных есть только два значения true и false.  

• Проблема была решена путем добавления параметра в GDB для корректного кастинга типов данных.  

• В 2022 году начали забирать данные из баз с помощью Airbyte.  

• Развернули два инстанса для доступа к интернету и безопасности.  

• Писали данные в Greenplum и ClickHouse для стримов.  

• В Airbyte не было расписания по cron в 2022 году.  

• Не было возможности исключать колонки из синхронизации, что было критично для персональных данных.  

• Поле на источнике хранилось с точностью до секунды, что вызывало потерю данных.  

• Решили использовать метод репликации для решения проблемы.  

• В 2023 году добавили расписание по cron.  

• Это позволило избежать смещения расписания при необходимости перезагрузки данных.  

• В 2023 году настроили мониторинг для Airbyte через экспортер метрик.  

• Мониторили количество синхронизаций, статус задач и нагрузку на сервер.  

• Для работы с синхронизацией требовалось минимум три пода.  

• Настроили пожоп для удаления лишних пода.  

• Разделили статичные и динамические задачи для оптимизации ресурсов.  

• В Airbyte есть ролевая модель, но она не используется из-за внутреннего регламента.  

• Проблема с бэкфилом  

• В 2024 году проблем с использованием Erbium не было.  

• Целевая архитектура платформы данных включает перенос всех данных в Debezium.  

• Переход на инкрементальные снапшоты для управления подключениями к базам данных.  

• Erbium используется для забора данных и записей.  

• Коннекторы пишутся для новых источников данных.  

• Daxter используется как оркестратор для управления запусками и построения пайплайнов загрузки данных.  

• Erbium подходит для задач с забором данных из баз данных.  

• Для больших объемов данных и сложных конфигураций могут быть лучше другие решения.  

• Erbium имеет множество готовых коннекторов и удобен для управления данными.  

• Вопрос о наличии коннектора Greenplum в опенсорсе: коннектор доступен по запросу.  

• Вопрос о выборе Erbium вместо Airflow: Erbium имеет готовые коннекторы и упрощает управление данными.  

• Проблема с бэкфилом решается через полную перезапись источника данных.  

• Проблем со скоростью репликации в Erbium не было.  

• Использование коннектора без нормализации для Cloudera.  

• Преобразование типов данных в исходниках и использование документации для решения проблем.  

• Запись в Greenplum через B-C.  

• Использование Debezium для нормализации данных.  

• Проблемы с использованием PIG-коннекторов для Greenplum из-за трудоемкости поддержки.  

• Ограничения на частоту запуска выгрузки в опенсорс-версии Erbium сняты.  

• Возможность записи в S3 и другие индексы без ограничений.  

• Расписание запуска не ограничивается по умолчанию.  

• Erbium справляется с загрузкой данных объемом до 100 ГБ.  

• Промежуточная запись и обработка данных.