Clickhouse vs. Greenplum. Какую MPP-базу данных выбрать? // Демо-занятие курса «Data Engineer»

• Алексей Железнов, дата-инженер компании Wildberries и преподаватель в компании OTUS.  

• Демонстрационное занятие на курсе дата-инженера в OTUS.  

• Алексей просит сообщать о проблемах с видимостью и звуком.  

• Более трех с половиной лет коммерческого опыта в качестве дата-инженера.  

• Более семи лет в сфере образования, включая школы, бакалавриаты, магистратуры и проектные работы.  

• Преподаватель курсов дата-инженера и DWH аналитика в OTUS.  

• Знакомство с Алексеем и участниками.  

• Информация о компании OTUS и её курсах.  

• Обсуждение баз данных: MySQL против PostgreSQL.  

• Обзор команды курса и программы обучения.  

• Карьерная информация и рефлексия.  

• OTUS как проект, ориентированный на повышение качества жизни и образование.  

• Компания предоставляет курсы для сотрудников IT-компаний и подразделений.  

• OTUS имеет образовательную лицензию, сертификаты принимаются работодателями.  

• В компании 654 преподавателя и наставника.  

• Преподаватели OTUS – действующие сотрудники топовых IT-компаний.  

• Студенты – это действующие сотрудники и выпускники курсов.  

• Компания существует пять лет и имеет более 900 учебных групп.  

• Алексей делится опытом работы с базами данных в Wildberries.  

• Основные базы данных: MySQL и PostgreSQL.  

• Цель вебинара: понять, что такое базы данных и как их использовать.  

• Массивная параллельная обработка данных MPP.  

• Пример с российской государственной библиотекой.  

• Масштабирование по горизонтали: распределение задач между множеством узлов.  

• Пример с библиотекой иллюстрирует MPP.  

• Распределение задач между множеством узлов ускоряет решение.  

• Алексей надеется, что пример помог понять концепцию MPP.  

• Базы данных распределяют данные и вычислительную мощность между несколькими узлами или серверами.  

• Ведущий узел управляет задачами, а вычислительные узлы выполняют вычисления.  

• Базы данных можно масштабировать горизонтально и вертикально.  

• Плюсы: простота горизонтального масштабирования, безопасность и отказоустойчивость.  

• Минусы: высокие требования к ресурсам, низкая производительность при простых запросах.  

• Важно точное распределение сегментов для оптимальной работы.  

• В современном мире обрабатывается огромное количество данных.  

• Базы данных помогают распределять задачи между узлами для эффективного выполнения.  

• Пример архитектуры: клиент отправляет запрос, мастер распределяет нагрузку по узлам.  

• Распределение данных по принципу "раунд робин" и "о".  

• Пример использования: справочники, где данные распределяются равномерно.  

• Справочники не содержат много информации и могут быть распределены по всем узлам.  

• Базы данных делятся на self-hosted и cloud-based.  

• Примеры: Greenplum и ClickHouse.  

• В курсе будут рассмотрены другие базы данных, включая ClickHouse.  

• Вопросы по текущему материалу можно задавать в чате.  

• Переход к обсуждению ClickHouse и Greenplum.  

• Практическая часть будет посвящена ClickHouse, а не Greenplum.  

• Обсуждение различий в подходах к написанию кода для ClickHouse и Greenplum.  

• Практика на небольшом объеме данных для демонстрации различий.  

• Архитектура хранилища данных и использование баз данных Greenplum и PostgreSQL.  

• Проблемы с производительностью баз данных Greenplum и PostgreSQL.  

• Необходимость корректного распределения вычислительной мощности и доступа к данным.  

• Вопросы, связанные с обработкой и визуализацией данных.  

• ClickHouse как колонночная аналитическая база данных.  

• Революция в подходе к обработке и визуализации данных.  

• Преимущества ClickHouse в скорости и эффективности.  

• Быстрое преобразование и обработка данных.  

• Векторная обработка запросов и эффективная компрессия данных.  

• Поддержка машинного обучения и парсинга данных.  

• Отсутствие понятия транзакций и неэффективность некоторых типов операций.  

• Поддержка различных движков таблиц и их особенности.  

• Архитектура и распределение данных в ClickHouse.  

• Greenplum рассчитан на небольшое количество данных, ClickHouse - на большие объемы.  

• Оптимизация данных и работа с большим количеством данных.  

• Важность правильного использования JOIN и агрегаций.  

• Архитектура Greenplum и её особенности.  

• Сложность настройки и необходимость знаний для корректной работы.  

• Горизонтальное масштабирование и интерконнект.  

• Сравнительная таблица Greenplum и ClickHouse.  

• Стабильность и надежность Greenplum.  

• Переход к примерам использования обеих систем.  

• Обсуждение внутренней части Kahaus и его эффективности.  

• Архитектура Kahaus позволяет быстро обрабатывать данные и передавать их пользователям.  

• Kahaus используется для обработки данных, а Greenplum - для их хранения и агрегации.  

• Kahaus обеспечивает молниеносную передачу данных.  

• Greenplum используется для хранения и обработки данных.  

• Совместное использование Kahaus и Greenplum ускоряет работу и улучшает производительность.  

• Призыв к зрителям задавать вопросы.  

• Обсуждение движков таблиц в Kahaus.  

• Объяснение работы движков и их влияния на обработку данных.  

• Описание различных семейств движков в Kahaus.  

• Примеры использования движков для работы с данными.  

• Объяснение, как движки помогают избежать дубликатов и обеспечивают уникальность данных.  

• Обсуждение компрессии данных в Greenplum.  

• Настройка компрессии для улучшения производительности.  

• Указание типа и уровня сжатия для оптимизации хранения данных.  

• Рекомендуется использовать модель данных "звезда" для загрузки в одну плоскую таблицу.  

• Важно тестировать, чтобы избежать "холодного хранения" данных.  

• Использование одной таблицы уменьшает количество JOIN-ов и улучшает производительность.  

• Вопросы о времени добавления данных в Hive и их распределении.  

• Ответы на вопросы требуют уточнения у коллег, занимающихся DevOps.  

• Возможность делать изменения на горячую, но с ограничениями по ресурсам.  

• Hive имеет схожий синтаксис с PostgreSQL.  

• Возможность поколоночной ориентации, сжатия данных и распределения по хэшу.  

• Поддержка различных типов распределения данных.  

• Hive не любит частые вставки, что объясняется наличием "партов".  

• Парты создаются при каждой вставке и могут привести к переполнению базы данных.  

• Парты автоматически объединяются, но это не всегда происходит предсказуемо.  

• Использование ключевых слов и настроек для оптимизации партов.  

• Применение логики внутри запросов для оптимизации данных.  

• Настройка лимита на количество строк для одного пользователя.  

• Настройки максимального количества памяти и времени выполнения запросов.  

• Hive оправдывает себя при работе с большими объемами данных и вычислениями.  

• Рекомендуется использовать Hive как витринный слой для агрегирования данных.  

• Поднят Docker с двумя контейнерами: ClickHouse и PostgreSQL.  

• Настройка портов и пользователей для каждого контейнера.  

• Возможность использования Яндекс.Облака для доступа и управления.  

• Возможность поднятия виртуальной машины для PostgreSQL и ClickHouse.  

• Демонстрация работы Docker и настройка через Яндекс.Облако.  

• Использование локальных технологий и облачных решений.  

• Подведение итогов занятия и приглашение задавать вопросы.  

• Знакомство с командой преподавателей и программой курса.  

• Упоминание о гибком подходе к обучению и обратной связи.  

• Подготовка и защита выпускного проекта.  

• Получение сертификата после успешного завершения курса.  

• Выполнение заданий и получение обратной связи.  

• Анализ вакансий для дата-инженеров с опытом 3-6 лет.  

• Информация о зарплатах и ожиданиях работодателей.  

• Рекомендации по поиску вакансий и зарплат.  

• Призыв задавать вопросы и оставлять комментарии.  

• Обсуждение проблем с подключением и тестированием.  

• Обзор пройденного материала и приглашение к дальнейшему обучению.  

• Призыв к участникам оставить отзывы и вопросы.  

• Благодарность за участие и приглашение на будущие курсы.  

• Пожелания всего доброго и до скорых встреч.