Основной фреймворк расширения платформы Greenplum (PXF)

• PXF - это платформа расширения для доступа к внешним данным для облегчения анализа данных в конечной базе данных.  

• PXF используется в Greenplum 5.21 и поддерживает различные источники данных, включая Hadoop, Azure, Google Cloud Storage и другие.  

• PXF требует установки Java 1.8 на каждом узле базы данных Greenplum.  

• Инициализация PXF создает веб-приложение, генерирует файлы конфигурации и шаблоны.  

• Для доступа к внешним данным необходимо настроить определение сервера для каждого источника данных.  

• PXF поддерживает доступ к данным в облачных хранилищах, таких как Amazon S3, Google Cloud Storage и Microsoft Azure.  

• Для доступа к данным в облаке необходимо указать местоположение сервера и учетные данные клиента.  

• PXF предоставляет доступ к данным в базах данных SQL через разъем JDBC.  

• Для записи данных из Greenplum обратно в базу данных SQL можно использовать оператор insert.  

• PXF поддерживает пакетное выполнение операций записи для повышения производительности.  

• Greenplum PXF позволяет пользователям выполнять запросы к внешним таблицам, таким как таблицы в базе данных PostgreSQL, Hive, HBase и JDBC Connector.  

• PXF поддерживает перенос фильтров из запроса в источник данных для повышения производительности и уменьшения объема данных, передаваемых обратно в Greenplum.  

• PXF совместим с различными дистрибутивами Hadoop, такими как Cloudera, Hortonworks, MapR и Apache Hadoop.  

• PXF позволяет пользователям читать и записывать данные из различных форматов, таких как Parquet, Avro, ORC и JSON.  

• Секционирование таблиц позволяет Greenplum обрабатывать большие таблицы, разбивая их на более мелкие, управляемые части.  

• Внешние разделы таблицы доступны только для чтения, и пользователи могут запрашивать данные из различных внутренних и внешних источников данных.  

• В демонстрации показано, как инициализировать и настроить PXF, а также как читать и записывать данные из различных источников, таких как Amazon S3 и PostgreSQL.  

• Создание набора файлов Parquet в корзине S3.  

• Настройка внешней таблицы в Greenplum для доступа к данным в Parquet.  

• Вставка данных из Greenplum в базу данных SQL с помощью инструкции INSERT.  

• Выполнение именованного запроса в Greenplum для чтения данных из базы данных SQL.  

• Создание внешней таблицы в Greenplum для доступа к данным в таблице Hive.  

• Чтение данных из таблицы Hive в Greenplum с помощью внешней таблицы.