pg_shardman: шардинг в PostgreSQL / А.Шер, С.Кельвич (Postgres Professional)

• Арсений Шер и Стас Кевич рассказывают о шардинге в PostgreSQL.  

• Основные ожидания от распределенных СУБД: масштабируемость, высокая доступность и транзакции.  

• Важность транзакций и их надежности.  

• Теорема CAP утверждает, что в распределенной системе невозможно гарантировать все три свойства: консистентность, доступность и отказоустойчивость.  

• Консистентность в CAP требует нереализуемой согласованности, что не всегда применимо на практике.  

• Доступность требует, чтобы любая нода отвечала на запросы успешно, но это не всегда достижимо.  

• PgShardMan предназначен для UTP-нагрузок и горизонтального масштабирования.  

• Поддерживает честные транзакции и доступен под либеральной лицензией PostgreSQL.  

• PgShardMan использует различные технологии и расширения для достижения масштабируемости и транзакционной надежности.  

• PgShardMan поддерживает хэш-горизонтальное шардирование.  

• Позиционирование позволяет разбивать данные на части для ускорения сканирования.  

• В PostgreSQL 10 появилось декларативное позиционирование, но оно не поддерживает хэш-позиционирование.  

• PGShardMan использует адаптер для чтения данных из других PostgreSQL.  

• Это позволяет распределять данные по разным нодам и видеть глобальную таблицу целиком.  

• Совмещение партишининга и PGShardMan позволяет эффективно масштабировать данные и проводить аналитику.  

• Шарман поддерживает только хэш-шардирование для равномерной балансировки нагрузки.  

• Количество шардов нельзя изменить после распределения таблицы.  

• Консистент хэшн позволяет изменять количество шардов без полного перетряхивания данных.  

• Для восстановления данных после падения используется репликация.  

• Физическая репликация требует больше нод или двух PostgreSQL на ноду.  

• Логическая репликация в PostgreSQL 10 основана на декодировании WAL.  

• Логическая репликация использует плагин WAL для декодирования изменений.  

• WAL используется для восстановления в случае падения.  

• Логическая репликация позволяет бесшовно перемещать данные между нодами.  

• Для управления шардингом используется шарлорд, который хранит метаданные.  

• Шарлорд не участвует в обычной работе кластера, а только в управлении.  

• Пример использования шарлорда для добавления новых нод и шардинга таблиц.  

• Распределенные транзакции требуют атомарности и изоляции.  

• Двухфазный коммит используется для атомарности и снапшот изоляции.  

• Проблема доступности в распределенных системах и необходимость дополнительных мер для обеспечения надежности.  

• Усложнение транзакций за счет добавления промежуточного шага.  

• Использование протоколов Paxos или Raft для обеспечения надежности.  

• Репликация транзакций между нодами для предотвращения сбоев.  

• Атомарность транзакций, но наличие "дырок" между комитами.  

• Пример теста с транзакцией, переводящей данные между нодами.  

• Проблема неконсистентных результатов из-за "дырок".  

• Создание новых версий данных вместо изменения текущих.  

• Пример с историей изменений для одного тупла.  

• Транзакции видят только актуальные версии данных.  

• Вынесение счетчиков начала транзакций и снапшотов на отдельную ноду.  

• Пример с Postgress и другими базами данных.  

• Проблемы с узким местом из-за транзакционного менеджера.  

• Замена счетчиков на локальное время для синхронизации.  

• Проблемы с синхронизацией времени между нодами.  

• Алгоритм Clocks для избегания парадоксов времени.  

• Линейное масштабирование транзакций.  

• Пример с PGbench и другими тестами.  

• Оптимизация транзакций для повышения производительности.  

• Шарман - это расширение для PostgreSQL, которое можно установить на обычный PostgreSQL.  

• Некоторые функции, такие как изоляция и писи, требуют пропатчивания PostgreSQL.  

• Шарман доступен в репозитории PostgreSQL Cluster в ветке pgshard.  

• Обсуждение оперативных данных и их анализа.  

• Основная цель - масштабирование и оперативная работа с данными.  

• Логическая репликация позволяет сливать данные из многих потоков.  

• Шардирование таблиц и их логическая связь.  

• Форен-ключи не поддерживаются на шардированных таблицах.  

• Локальные таблицы могут помочь в решении этой проблемы.  

• Проблемы с отставанием часов на нодах и их решение.  

• Неправильное количество шардов и возможные действия.  

• Приоритеты проекта: оперативная нагрузка и масштабирование.  

• Параллельные запросы в пределах одного шарда.  

• Индексирование шардированных таблиц и глобальные индексы.  

• Уникальные ключи и их применение к шардированным таблицам.  

• Возможность шардирования по разным ключам.  

• Использование PostgreSQL V10 и планы по улучшению.  

• Планы по улучшению агрегатов и параллельного сканирования.