Под капотом каталога данных — Анастасия Ожигина, Тинькофф

• Тема доклада: под капотом каталога данных.  

• Цель: рассказать о пути к универсальному дата-каталогу.  

• Обзор модели данных и архитектуры продукта.  

• Настя Жигина, техлит в команде "Детектив".  

• Опыт работы в Тинькофф: джуниор разработчик, продуктовые команды, хранилище данных.  

• Последние два года занимается разработкой дата-каталога.  

• Дата-каталог: инструмент для метаданных и дата-лайндж.  

• Метаданные помогают понять данные и их применение.  

• Дата-лайндж: путь от системы источников до целевых таблиц или отчетов.  

• Детективный дата-каталог предназначен для пользователей любого уровня.  

• Проблемы: каталог, поиск, дата-лайндж.  

• Фокус на каталоге и модели данных.  

• Схема продукта: системы-источники, база данных, микросервисы.  

• Два пути получения метаданных: этель-процессы и контракты.  

• Метаданные попадают в базу и отображаются в удобном виде.  

• Модель данных: три таблицы: энтити, сэмпл.  

• Таблица энтити: сущности метаданных.  

• Конструктор из блоков для отображения метаданных.  

• Базовая карточка: название, тип, текст, ссылки, нотификации, таблицы.  

• Блок для нечеловеко-читаемых данных и блоков кода.  

• Возможность добавления произвольных структур и маркдаунов.  

• Начало работы с метаданными и их разнородность.  

• Решение складывать данные в одно поле с типом JSON.  

• Переход к базовой карточке и конструктору.  

• Проблемы с отображением метаданных.  

• Введение базовой карточки и конструктора.  

• Возможность использования кастомных карточек.  

• Пример фича стор и необходимость системного атрибута для отображения.  

• Важность правильного отображения метаданных.  

• Поля текс и дата не влияют на отображение, но важны для поиска.  

• Поле сюрздата участвует в полнотекстовом поиске.  

• Поле текс содержит массив тегов, которые используются для поиска.  

• Теги изначально были отдельными сущностями, но позже стали частью метаданных.  

• Теги были завезены из Confluence и других источников.  

• В итоге теги стали отдельным полем в таблице.  

• Поле то отвечает за широкий поиск.  

• Поле фильтрс используется для динамического поиска по дочерним элементам.  

• Фильтры определяются из наполнения дочерних элементов.  

• Таблица со связями включает источники, таргеты и атрибуты.  

• Связи показывают вложенность метаданных.  

• Связи лос используются для построения даталайнейдж.  

• Правая панель связей помогает пользователям находить и группировать метаданные.  

• Группы создаются на основе типа связи и типа объекта.  

• Пример использования: группы таблиц и хабов.  

• Атрибуты являются частью сущности.  

• Таблица с сэмплами содержит примеры данных рядом с метаданными.  

• Сэмплы используются на кастомных карточках, но могут быть добавлены на базовые.  

• Описание метаданных собирается из блоков, что позволяет добавлять новые типы метаданных и связи.  

• Цель: универсальный дата-каталог для любых метаданных.  

• Возможность добавления новых возможностей для метаданных в будущем.  

• Вопросы о метриках и покрытии метаданными.  

• Использование детектива в промышленной среде и его применение в DWH.  

• Вопросы о помощи с описанием пользовательских таблиц и отчетности.  

• Вопросы о будущем опен-сорса и возможности покупки.  

• Продажей продукта занимается Дима.  

• История создания маскота: был логотип с лупой, который не понравился команде.  

• Решили создать нового персонажа, вдохновляясь уткой-детективом.  

• Вопрос о сложности перевода пользователей из Confluence в Data Detective.  

• Переезд еще не завершен, это мечта команды.  

• Вопрос о том, как ориентироваться в системе с точки зрения параметров продукта.  

• Команда Data Harmonics занимается описанием данных и их поиском.  

• Вопрос о возможности интеграции с внешними системами, такими как Open MetaData Framework.  

• Решение не интегрироваться, а создавать собственную систему с нуля.  

• Переход к концепции push-данных, чтобы избежать перегрузки инженеров.  

• Вопрос о методах принуждения систем к отправке метаданных.  

• Ответ: пока не все системы выполняют эту задачу, но это планируется улучшить в будущем.