Руководство по базе данных Greenplum для начинающих

• Greenplum - это база данных, оптимизированная для работы с большими массивами данных.  

• Позволяет компаниям и организациям хранить и анализировать большие объемы данных.  

• Пример использования: учет покупок в розничных магазинах для анализа корреляций и сезонных тенденций.  

• Greenplum использует сотни серверов Linux, соединенных высокоскоростными сетями.  

• Создан в 2005 году компанией Greenplum Inc., с 2015 года проект с открытым исходным кодом.  

• Основан на технологии PostgreSQL, что позволяет создавать крупномасштабные системы.  

• Greenplum доступен для скачивания с сайта greenplum.org.  

• Можно скачать исходный код через GitHub или использовать пакет Ubuntu.  

• Для клиентов Pivotal доступен дистрибутив Pivotal Greenplum.  

• Greenplum можно развернуть на облачных платформах Amazon, Microsoft и Google.  

• Пример развертывания на Google Cloud Marketplace.  

• Доступ к документации Greenplum доступен с 2007 года.  

• Greenplum поддерживает различные типы приложений: SQL, бизнес-аналитика, машинное обучение и другие.  

• Основные компоненты: ядро PostgreSQL, командный центр, уровень хранения и управление рабочей нагрузкой.  

• Поддерживает различные типы данных: структурированные, полуструктурированные и неструктурированные.  

• Greenplum работает на кластерах из 400-450 серверов Linux.  

• Использует высокоскоростные сети и стандартные протоколы TCP/UDP.  

• Оптимизатор запросов преобразует SQL-код в эффективные планы выполнения, минимизируя сетевой трафик.  

• Данные считываются с диска и передаются через динамическую конвейерную обработку.  

• Запросы анализируются, оптимизируются и выполняются параллельно по всему кластеру.  

• Greenplum обеспечивает безопасность транзакций и высокую доступность данных.  

• Данные хранятся в двух экземплярах, распределенных между серверами.  

• Используется синхронная репликация для обеспечения доступности данных.  

• Greenplum использует язык определения данных для создания схем и таблиц.  

• Базы данных могут быть разделены на несколько уровней.  

• Ограничения включают размер базы данных и длину имени таблицы.  

• В Greenplum есть три специальные базы данных: template zero, template one и postgres.  

• Template zero и template one используются для создания новых баз данных.  

• Postgres предназначена для служебных функций администраторов баз данных.  

• Greenplum поддерживает различные типы хранения данных: heap, append optimized и columnar.  

• Выбор типа хранения влияет на производительность и использование хранилища.  

• Сжатие данных рекомендуется для больших наборов данных.  

• Данные могут быть распределены по столбцам или случайным образом.  

• Распределенное распределение позволяет быстро объединять данные.  

• Пример: таблица заказов распределяется по идентификатору клиента для эффективного сканирования.  

• Распределение данных по определенному имени столбца позволяет быстро находить нужные данные.  

• Пример: распределение по идентификатору клиента обеспечивает равномерное распределение данных по сегментам.  

• Неравномерное распределение данных, например, по логическому полю "клиент", приводит к перекосу обработки.  

• Перекос обработки возникает, когда данные за определенный месяц обрабатываются чаще, чем за другие месяцы.  

• Важно избегать перекоса обработки, чтобы не замедлять выполнение запросов.  

• Объединение таблиц клиентов и счетов-фактур по идентификатору клиента позволяет быстро выполнять локальную обработку.  

• Репликация данных сохраняет всю таблицу клиентов на каждый сегмент, что упрощает объединение.  

• В Greenplum используются различные типы индексов: B-деревья, растровые изображения, GIST и GIN.  

• B-деревья эффективны для поиска одного элемента из миллиона или триллиона.  

• Растровые индексы ускоряют рабочие нагрузки с менее чем 100 уникальными значениями.  

• GIST используется для геопространственных данных, а GIN - для текстовых данных и JSON.  

• Секционирование позволяет базе данных быстро обходить данные, устраняя ненужные секции.  

• Пример: разбиение данных по месяцам ускоряет запросы, обрабатывая только нужные данные.  

• Секционирование помогает обслуживать базу данных, удаляя старые разделы и добавляя новые.  

• Полиморфное секционирование использует разные типы хранилищ для разных частей таблицы.  

• Данные, ориентированные на строки, хранятся в краткосрочных разделах, а данные, ориентированные на столбцы, - в долгосрочных.  

• Внешние разделы используются для старых данных, что позволяет легко запрашивать таблицу продаж.  

• Текущие данные хранятся в таблицах кучи, а данные за прошлые периоды - в хранилище на уровне столбцов.  

• Внешние разделы используются для самых старых данных, что обеспечивает дешевое хранение, но медленный доступ.  

• Секционирование и распределение данных позволяют эффективно обрабатывать большие объемы данных.  

• Существуют различные методы для ввода и вывода данных в Greenplum.  

• Можно использовать стандартные протоколы ODBC и JDBC, инструкции INSERT и COPY.  

• COPY работает быстрее, чем INSERT, благодаря оптимизации для массовой загрузки.  

• GP Load позволяет использовать параллелизм Greenplum для загрузки данных в терабайтном масштабе.  

• Данные передаются параллельно в отдельные сегменты кластера.  

• Чем больше сегментных серверов, тем больше параллелизма и быстрее загрузка.  

• Можно загружать данные из одной таблицы в другую внутри кластера.  

• Это быстрее, чем использование GP Load.  

• Синтаксис включает команды INSERT, COPY и GP Load.  

• Greenplum работает в Linux и использует TCP/IP.  

• Важно иметь высокопроизводительное оборудование с высокоскоростными накопителями.  

• Высокоскоростное оборудование ускоряет обработку данных.  

• Рекомендуется использовать серверы с двумя и четырьмя сокетами.  

• Чем больше ядер и тактовая частота, тем лучше.  

• Оперативная память должна быть максимально возможной для высокопроизводительной системы.  

• Важно обеспечить высокую пропускную способность диска.  

• Пропускная способность данных важнее, чем количество операций ввода-вывода.  

• В больших системах требуется не менее 50 гигабайт в секунду пропускной способности.  

• Рекомендуется использовать Ethernet с пропускной способностью 10 Гбит/с или выше.  

• Все устройства, независимо от облачной или локальной среды, используют процессоры x86 и Linux.  

• Высокоскоростная сеть и быстрое хранилище данных необходимы для обработки больших объемов данных.  

• Greenplum обеспечивает высокую внутреннюю доступность и зеркальное отображение.  

• Стратегия двойной загрузки активная-пассивная позволяет обрабатывать данные в двух центрах обработки данных одновременно.  

• Реплицированное резервное копирование и зеркальное отображение в песочнице также являются жизнеспособными решениями.  

• Вакуумное обслуживание удаляет ненужные данные, чтобы освободить пространство.  

• Очистка каталога и повторная индексация помогают поддерживать эффективность системы.  

• Анализ каталога и пользовательских таблиц улучшает производительность и оптимизацию запросов.  

• Мониторинг незанятых соединений и архивация лог-файлов важны для управления ресурсами.  

• Аппаратные компоненты, такие как память и диски, должны быть в рабочем состоянии для предотвращения сбоев.  

• Администраторы должны реагировать на предупреждения и устранять проблемы для поддержания стабильной работы системы.  

• В документации есть список запросов для проверки состояния серверов сегмента.  

• Проверки могут выполняться на частой основе для предотвращения проблем.  

• Важно иметь администраторов баз данных для планирования и выполнения задач по техническому обслуживанию.  

• В Green Plum есть система пользователей, ролей и групп для управления доступом к данным.  

• Администраторы могут назначать роли и пользователей, а также определять доступ на основе политик и разрешений.  

• Пример системы с разными базами данных и схемами.  

• Роли могут быть использованы как имена пользователей или наследоваться другими ролями.  

• Пример: роль специалиста по обработке данных, к которой могут принадлежать несколько пользователей.  

• Роли и группы управляются на уровне базы данных, а не операционной системы.  

• Пользователи и группы скрыты от посторонних глаз, но имеют разные роли.  

• Роли могут быть суперпользователями или не суперпользователями, с правами на создание баз данных и других ролей.  

• Примеры синтаксиса для создания и изменения ролей.  

• Группы создаются путем наследования возможностей родительской роли.  

• Пример: создание роли grp admin с правами на создание других ролей и баз данных.  

• Группы могут быть предоставлены или отозваны у пользователей.  

• Проверка подлинности на основе хоста через конфигурацию pg hba.  

• Типы аутентификации: доверие, отвержение, пароль, LDAP, Kerberos, PAM.  

• Примеры предоставления и отзыва разрешений для объектов в базе данных.  

• Управление рабочими нагрузками на разных уровнях: подключение к базе данных, группы ресурсов.  

• Использование pg bouncer и heimdall для управления доступом к системе.  

• Группы ресурсов позволяют распределять ресурсы для различных рабочих нагрузок, таких как ETL, обработка данных, бизнес-отчеты и машинное обучение.  

• Динамическая приоритизация запросов для упорядоченной системы с сотнями пользователей.  

• Группы ресурсов реализуются с использованием групп Linux C.  

• Группы Linux C позволяют создавать политики для управления процессами.  

• Политики динамически расширяются и сжимаются на основе конкурирующих политик.  

• Уровень параллелизма ограничивает количество одновременных запросов.  

• Ограничение скорости процессора устанавливает максимальный процент использования процессора.  

• Настройки памяти позволяют разделить и распределить доступную память между рабочими нагрузками.  

• Группы ресурсов и пул подключений помогают управлять рабочей нагрузкой.  

• Настройка полного стека приложений обеспечивает максимальную отдачу от базы данных Greenplum.  

• Greenplum - система реляционных баз данных ACID.  

• Транзакции объединяют несколько инструкций в операцию "все или ничего".  

• Транзакции могут быть зафиксированы или откачены, что гарантирует точность результатов.  

• Транзакции усложняют реализацию баз данных.  

• Greenplum использует управление параллелизмом нескольких версий для управления состоянием системы.  

• Это требует больше памяти и периодического обслуживания, но обеспечивает высокую производительность и точность.  

• Существует четыре уровня транзакций: чтение незафиксированное, чтение зафиксированное, повторяемое чтение и сериализуемое.  

• Чтение незафиксированное означает, что изменения в транзакции видны извне.  

• Чтение зафиксированное означает, что изменения не видны до их фиксации.  

• Повторяемое чтение означает, что данные в транзакции остаются неизменными до завершения транзакции.  

• Сериализуемость полностью инкапсулирована и поддерживает только два режима: фиксированный для чтения и сериализуемый.  

• Greenplum поддерживает два режима: фиксированный для чтения и сериализуемый.  

• По умолчанию используется фиксированный для чтения, который используется в большинстве случаев.  

• Различия между read committed и serializable: в read committed видны все данные до начала транзакции, а в serializable видны только данные на начало транзакции.  

• Greenplum имеет надежную систему управления многовариантным параллелизмом.  

• Позволяет выполнять параллельные операции обновления и удаления, а также сотни параллельных запросов.  

• Гарантирует предсказуемые результаты на основе 50-летних научных исследований и концептуальных моделей.  

• Исследования и концепции баз данных, такие как read committed, ценны и должны использоваться предприятиями.  

• Переход к nosql или реляционным базам данных может привести к потере этих исследований.  

• Рекомендуется читать книги по управлению транзакциями, такие как "Управление транзакциями" Джима Грея.  

• Greenplum работает как обычная база данных в режиме чтения с фиксацией.  

• Переход к демонстрации работы с Greenplum на облачной платформе Google.  

• Вход в терминал и использование gcloud для управления кластером Greenplum.  

• Операционная система: Red Hat или CentOS 7.7.  

• Запуск команды psql для проверки баз данных.  

• Обнаружение базы данных Green Plum 5.17 и других баз данных.  

• Файл pg_hba.conf для контроля доступа.  

• Использование команды psql -d для получения справки.  

• Пример запроса для получения информации о системных ресурсах.  

• Файл postgres.conf для глобальных настроек базы данных.  

• Использование команды gpconfig для управления настройками.  

• Пример изменения размера кэша инструкций PL/Java.  

• Таблица конфигурации сегментов в базе данных.  

• Описание структуры таблицы и её столбцов.  

• Важность мониторинга состояния сегментов и восстановления из ухудшенного режима.  

• Таблица pg_stat для отслеживания текущих запросов.  

• Таблица pg_class для хранения объектов базы данных.  

• Командный центр для управления и мониторинга запросов.  

• Обзор командного центра и его возможностей.  

• Переход к изучению функционального программирования.  

• Greenplum позволяет создавать пользовательские типы и функции.  

• Пример использования PL/pgSQL взят из PostgreSQL.  

• PL/pgSQL позволяет выполнять циклы, использовать переменные и процедурное программирование поверх SQL.  

• Функция принимает два параметра: целое число и текст.  

• Возвращает текстовую переменную.  

• Использует циклы и условия для обработки данных.  

• Функция вызывается с разными параметрами для проверки ошибок.  

• Пример выполнения функции в PostgreSQL.  

• Демонстрация работы процедурного языка в Greenplum.  

• PL/python позволяет использовать библиотеки Python на сервере.  

• Пример функции для обработки данных с использованием Python.  

• Возможность параллельной обработки данных на кластере Greenplum.  

• Подведение итогов урока по работе с Greenplum.  

• Обзор архитектуры и возможностей Greenplum.  

• Призыв к дальнейшему изучению и использованию Greenplum для бизнес-результатов и анализа данных.