A5. Витрины данных

• Приветствие и представление Павла Пучкова, руководителя направления дата-маркетинг.  

• Павел любит кофе и пьет его каждое утро через гейзерную кофеварку.  

• Павел объясняет, что витрины данных используются для хранения и анализа большого объема данных.  

• Витрины помогают в оперативной аналитике и регулярных обновлениях данных.  

• Павел рассказывает о запуске эксель-файлов по расписанию и управлении их порядком выполнения.  

• Важность правильного порядка запуска и ограничения нагрузки на системы.  

• Витрины позволяют декомпозировать задачи на более мелкие части для упрощения отчетности.  

• Витрины обеспечивают надежность и удобство работы с данными.  

• Павел рассказывает о постепенном развитии инструментов для управления зависимостями между объектами хранилища.  

• Использование самописных инструментов и оркестраторов для координации процессов.  

• В компании существует множество витрин данных, но команда, занимающаяся хранилищем, небольшая.  

• Аналитики могут самостоятельно создавать и выполнять эксель-файлы для своих нужд.  

• Аналитики могут управлять временем готовности данных, оптимизируя код и декомпозируя задачи.  

• Обсуждение необходимости стриминга данных для удовлетворения требований аналитиков.  

• В хранилище данных используется отчетность на вчерашний день.  

• Данные должны быть доставлены к определенному времени ночью.  

• Проблемы с регистрацией бачей в середине дня пока не решались.  

• Оркестратор позволяет внешним системам подписываться на события.  

• Согласованность данных важна, но решается на уровне системы, а не патчей.  

• Пайплайн написан так, что данные готовы за три минус один день.  

• На уровне витрин нет стриминговых данных, только данные за вчерашний день.  

• Информация о работе системы обновляется быстрее, но не связана с основным пространством данных.  

• Буферизующий слой обновляется микробачами.  

• Витрина получает инкремент каждый день, часто размером один день.  

• Задача об обратном наполнении возникает при изменениях в витринах.  

• Инструмент выполняет тасочку параллельно с ежедневным расчетом.  

• Согласованность витрин достигается вручную, автоматическое определение пока не реализовано.  

• В интернете есть инструменты, которые могут автоматически определять изменения в данных.  

• Витрины должны учитывать две даты на входе.  

• Система тестирования проверяет код на ошибки и соответствие правилам.  

• Третий этап проверки включает согласование изменений с другими процессами.  

• Система поддержки не идеальна, иногда приходится пропускать тесты вручную.  

• Планируется создание песочницы для менее важных задач.  

• Товары могут находиться в разных категориях в каталоге в разные моменты времени.  

• Вопрос о том, как хранить историю привязки товаров к категориям.  

• Загрузка информации по лактопу требует много данных, что затрудняет отчетность.  

• На каждом слое данные агрегируются, что упрощает их использование, но теряется больше информации.  

• Сырые данные позволяют решать любые задачи логически, но технически это сложно из-за производительности.  

• На сыром уровне нужно хранить как можно больше данных.  

• Важно свести данные обратно, чтобы избежать ошибок в отчетах.  

• Для этого используются системы, которые согласовывают данные и предотвращают ошибки.  

• Важно оценить, насколько данные велики и как часто они изменяются.  

• Простые решения с файликами позволяют быстро увидеть результаты.  

• Сложные решения требуют больше времени на настройку и понимание.  

• Метрики могут быть описаны разными людьми, что может привести к недопониманию.  

• Важно иметь формальное описание метрик для их переиспользования.  

• Текстовые описания метрик работают хорошо, но формальные описания могут быть более точными.  

• Аналитики могут создавать много данных, что увеличивает нагрузку на хранилище.  

• Важно предоставлять аналитикам ресурсы и время для работы.  

• Необходимо учитывать потребности эффективных аналитиков при планировании системы.  

• Аналитики должны оптимизировать свои данные, чтобы избежать увеличения времени сбора.  

• Система должна отслеживать изменения времени сбора данных и информировать аналитиков.  

• Важно поддерживать баланс между производительностью и доступностью данных.  

• В Snowflake есть концепция маскинг полис для ограничения доступа к данным.  

• В компании используется подход, где данные разделены на зоны с разными уровнями доступа.  

• Важно шифровать персональные данные и использовать механизмы для проверки доступа.  

• Ограничение доступа к данным требует тщательного планирования и автоматизации.  

• Важно учитывать, кто имеет доступ к данным и как они могут использовать их.  

• Необходимо защищать данные от несанкционированного доступа и утечек.  

• Аналитики помогают бизнесу переводить бизнес-вопросы в метрики.  

• ИТ-службы часто являются сервисными, помогая бизнесу достигать целей.  

• Вопросы от бизнеса переходят к аналитикам для создания метрик.  

• Бизнес ставит задачу, аналитик проверяет существующие метрики.  

• Аналитик может проводить исследования и предлагать новые метрики.  

• Метрики могут быть добавлены в систему после проверки и одобрения.  

• Метрики, которые больше не используются, продолжают храниться.  

• Аналитики должны следить за квотами и очищать ненужные данные.  

• Важно поддерживать корректность и актуальность данных.  

• Основные проблемы: масштабирование, оптимизация, управление моделью данных.  

• Оптимизация данных требует времени и усилий, но должна быть автоматизирована.  

• Модель данных должна быть сбалансирована по количеству объектов.  

• Обсуждение было интересным и информативным.  

• Павел Пучков, специалист по дата-майнду в Авито, поделился опытом.  

• Благодарность участникам за участие и прощание.