Hologres:Access OSS data with Hive Metastore

Método 1: uso de una base de datos externa (recomendado)

1. Conéctese a su instancia de Hologres y cree la base de datos externa. Este paso requiere permisos de superusuario.

   Para consultar la sintaxis completa, consulte CREATE EXTERNAL DATABASE.

   CREATE EXTERNAL DATABASE <EXTERNAL_DATABASE_NAME>
     owner '<ACCOUNT_NAME>'
     metastore_type 'hms'
     catalog_type 'hive'
     hive_metastore_uris 'thrift://<HIVE_METASTORE_IP>:<PORT>'
     metadata_cache_ttl_sec '600'
     metadata_cache_update_interval_sec '60'
     metadata_refresh_interval_sec '7200'
     oss_endpoint 'oss-<REGION_ID>-internal.aliyuncs.com'
     table_count_limitation_per_schema '2000'
     comment '<EXTERNAL_DATABASE_COMMENT>';

   Parameter	Description	Example
   external_database_name	Nombre de la base de datos externa.	catalog_hive
   owner	Cuenta de Hologres propietaria de la base de datos externa.	p4_<ACCOUNT_ID>
   metastore_type	Tipo de servicio de metadatos. Establezca hms para Hive Metastore.	hms
   catalog_type	Tipo de catálogo. Establezca hive para un catálogo de Hive.	hive
   hive_metastore_uris	URI de Hive Metastore. Formato: thrift://<HIVE_METASTORE_IP>:<PORT>. El puerto predeterminado es 9083.	thrift://10.0.0.1:9083
   metadata_cache_ttl_sec	Opcional. Tiempo durante el cual los metadatos almacenados en caché permanecen válidos, en segundos.	600 (default)
   metadata_cache_update_interval_sec	Opcional. Intervalo entre las actualizaciones de la caché de metadatos, en segundos.	60 (default)
   metadata_refresh_interval_sec	Opcional. Intervalo entre las actualizaciones completas de metadatos, en segundos.	7200 (default)
   oss_endpoint	Endpoint de OSS. Para OSS nativo, utilice el endpoint interno para obtener un mejor rendimiento.	oss-cn-beijing-internal.aliyuncs.com
   table_count_limitation_per_schema	Opcional. Número máximo de tablas cargadas por esquema.	2000 (default)
   comment	Opcional. Descripción de la base de datos externa.	holo-emr-hive

   Los intervalos de caché y el límite de tablas anteriores son valores de ejemplo. Ajústelos según la frecuencia de actualización de sus metadatos y la cantidad de tablas en HMS.

2. (Opcional) Cree un mapeo de usuarios.

   Un mapeo de usuarios proporciona las credenciales que utiliza una cuenta específica de Hologres para leer datos de OSS. Para más detalles, consulte CREATE USER MAPPING.

   CREATE USER MAPPING FOR <ACCOUNT_NAME>
   EXTERNAL DATABASE <EXTERNAL_DATABASE_NAME>
   OPTIONS (
     oss_access_id  '<ACCESS_KEY_ID>',
     oss_access_key '<ACCESS_KEY_SECRET>'
   );

3. Consulte las tablas externas.

   Una vez creada la base de datos externa, haga referencia a cualquier tabla mediante un nombre de tres partes: base de datos externa, base de datos de Hive y tabla de Hive.

   Tabla sin particiones:

   SELECT *
   FROM <EXTERNAL_DATABASE_NAME>.<HIVE_DATABASE_NAME>.<HIVE_TABLE_NAME>;

   Tabla con particiones: filtre por la clave de partición en la cláusula WHERE.

   SELECT *
   FROM <EXTERNAL_DATABASE_NAME>.<HIVE_DATABASE_NAME>.<HIVE_PARTITION_TABLE_NAME>
   WHERE <PARTITION_KEY> = '<PARTITION_VALUE>';

Método 2: uso de hive_fdw

CREATE EXTENSION IF NOT EXISTS hive_fdw;

CREATE SERVER IF NOT EXISTS <SERVER_NAME> FOREIGN DATA WRAPPER hive_fdw
OPTIONS (
  hive_metastore_uris 'thrift://<HIVE_METASTORE_IP>:<PORT>',
  oss_endpoint '<OSS_ENDPOINT>'
);

-- Grant the current user access to the foreign server
CREATE USER MAPPING FOR current_user SERVER <SERVER_NAME> OPTIONS (
  dlf_access_id  '<ACCESS_KEY_ID>',
  dlf_access_key '<ACCESS_KEY_SECRET>',
  oss_access_id  '<ACCESS_KEY_ID>',
  oss_access_key '<ACCESS_KEY_SECRET>'
);

-- Grant a RAM user (123xxx) access to the foreign server
CREATE USER MAPPING FOR "p4_123xxx" SERVER <SERVER_NAME> OPTIONS (
  dlf_access_id  '<ACCESS_KEY_ID>',
  dlf_access_key '<ACCESS_KEY_SECRET>',
  oss_access_id  '<ACCESS_KEY_ID>',
  oss_access_key '<ACCESS_KEY_SECRET>'
);

-- Remove user mappings
DROP USER MAPPING FOR CURRENT_USER SERVER <SERVER_NAME>;
DROP USER MAPPING FOR "p4_123xxx" SERVER <SERVER_NAME>;

-- Create a single foreign table
CREATE FOREIGN TABLE <HOLO_SCHEMA_NAME>.<TABLE_NAME>
(
  column_name data_type
  [, ...]
)
SERVER <SERVER_NAME>
OPTIONS (
  schema_name '<HIVE_DATABASE_NAME>',
  table_name  '<HIVE_TABLE_NAME>'
);

-- Import multiple foreign tables in batch
IMPORT FOREIGN SCHEMA <HIVE_DATABASE_NAME>
[
  { LIMIT TO | EXCEPT }
  ( table_name [, ...] )
]
FROM SERVER <SERVER_NAME>
INTO <HOLO_SCHEMA_NAME>
OPTIONS (
  if_table_exist        'update',
  if_unsupported_type   'error'
);

SELECT * FROM <HOLO_SCHEMA_NAME>.<TABLE_NAME>;

SELECT * FROM <HOLO_SCHEMA_NAME>.<PARTITION_TABLE_NAME>
WHERE <PARTITION_KEY> = '<PARTITION_VALUE>';