Hologres:Access OSS data with Hive Metastore

Método 1: Use um banco de dados externo (recomendado)

1. Conecte-se à sua instância do Hologres e crie o banco de dados externo. Esta etapa requer permissões de superusuário.

   Para a sintaxe completa, consulte CREATE EXTERNAL DATABASE.

   CREATE EXTERNAL DATABASE <EXTERNAL_DATABASE_NAME>
     owner '<ACCOUNT_NAME>'
     metastore_type 'hms'
     catalog_type 'hive'
     hive_metastore_uris 'thrift://<HIVE_METASTORE_IP>:<PORT>'
     metadata_cache_ttl_sec '600'
     metadata_cache_update_interval_sec '60'
     metadata_refresh_interval_sec '7200'
     oss_endpoint 'oss-<REGION_ID>-internal.aliyuncs.com'
     table_count_limitation_per_schema '2000'
     comment '<EXTERNAL_DATABASE_COMMENT>';

   Parâmetro	Descrição	Exemplo
   external_database_name	Nome do banco de dados externo.	catalog_hive
   owner	Conta do Hologres proprietária do banco de dados externo.	p4_<ACCOUNT_ID>
   metastore_type	Tipo de service de metadados. Defina como hms para Hive Metastore.	hms
   catalog_type	Tipo de catálogo. Defina como hive para um catálogo Hive.	hive
   hive_metastore_uris	URI do Hive Metastore. Formato: thrift://<HIVE_METASTORE_IP>:<PORT>. A porta padrão é 9083.	thrift://10.0.0.1:9083
   metadata_cache_ttl_sec	Opcional. Tempo de validade dos metadados em cache, em segundos.	600 (default)
   metadata_cache_update_interval_sec	Opcional. Intervalo entre atualizações do cache de metadados, em segundos.	60 (default)
   metadata_refresh_interval_sec	Opcional. Intervalo entre atualizações completas de metadados, em segundos.	7200 (default)
   oss_endpoint	Endpoint do oss. Para oss nativo, utilize o endpoint interno para melhor desempenho.	oss-cn-beijing-internal.aliyuncs.com
   table_count_limitation_per_schema	Opcional. Número máximo de tabelas carregadas por schema.	2000 (default)
   comment	Opcional. Descrição do banco de dados externo.	holo-emr-hive

   Os intervalos de cache e o limite de tabelas acima são valores de exemplo. Ajuste-os conforme a frequência de atualização dos seus metadados e a quantidade de tabelas no HMS.

2. (Opcional) Crie um mapeamento de usuário.

   Um mapeamento de usuário fornece as credenciais que uma determinada conta do Hologres utiliza para ler dados do oss. Para mais detalhes, consulte CREATE USER MAPPING.

   CREATE USER MAPPING FOR <ACCOUNT_NAME>
   EXTERNAL DATABASE <EXTERNAL_DATABASE_NAME>
   OPTIONS (
     oss_access_id  '<ACCESS_KEY_ID>',
     oss_access_key '<ACCESS_KEY_SECRET>'
   );

3. Consulte as tabelas externas.

   Após a criação do banco de dados externo, referencie qualquer tabela usando um nome composto por três partes: banco de dados externo, banco de dados Hive e tabela Hive.

   Tabela não particionada:

   SELECT *
   FROM <EXTERNAL_DATABASE_NAME>.<HIVE_DATABASE_NAME>.<HIVE_TABLE_NAME>;

   Tabela particionada: filtre pela chave de partição na cláusula WHERE.

   SELECT *
   FROM <EXTERNAL_DATABASE_NAME>.<HIVE_DATABASE_NAME>.<HIVE_PARTITION_TABLE_NAME>
   WHERE <PARTITION_KEY> = '<PARTITION_VALUE>';

Método 2: Use hive_fdw

CREATE EXTENSION IF NOT EXISTS hive_fdw;

CREATE SERVER IF NOT EXISTS <SERVER_NAME> FOREIGN DATA WRAPPER hive_fdw
OPTIONS (
  hive_metastore_uris 'thrift://<HIVE_METASTORE_IP>:<PORT>',
  oss_endpoint '<OSS_ENDPOINT>'
);

-- Grant the current user access to the foreign server
CREATE USER MAPPING FOR current_user SERVER <SERVER_NAME> OPTIONS (
  dlf_access_id  '<ACCESS_KEY_ID>',
  dlf_access_key '<ACCESS_KEY_SECRET>',
  oss_access_id  '<ACCESS_KEY_ID>',
  oss_access_key '<ACCESS_KEY_SECRET>'
);

-- Grant a RAM user (123xxx) access to the foreign server
CREATE USER MAPPING FOR "p4_123xxx" SERVER <SERVER_NAME> OPTIONS (
  dlf_access_id  '<ACCESS_KEY_ID>',
  dlf_access_key '<ACCESS_KEY_SECRET>',
  oss_access_id  '<ACCESS_KEY_ID>',
  oss_access_key '<ACCESS_KEY_SECRET>'
);

-- Remove user mappings
DROP USER MAPPING FOR CURRENT_USER SERVER <SERVER_NAME>;
DROP USER MAPPING FOR "p4_123xxx" SERVER <SERVER_NAME>;

-- Create a single foreign table
CREATE FOREIGN TABLE <HOLO_SCHEMA_NAME>.<TABLE_NAME>
(
  column_name data_type
  [, ...]
)
SERVER <SERVER_NAME>
OPTIONS (
  schema_name '<HIVE_DATABASE_NAME>',
  table_name  '<HIVE_TABLE_NAME>'
);

-- Import multiple foreign tables in batch
IMPORT FOREIGN SCHEMA <HIVE_DATABASE_NAME>
[
  { LIMIT TO | EXCEPT }
  ( table_name [, ...] )
]
FROM SERVER <SERVER_NAME>
INTO <HOLO_SCHEMA_NAME>
OPTIONS (
  if_table_exist        'update',
  if_unsupported_type   'error'
);

SELECT * FROM <HOLO_SCHEMA_NAME>.<TABLE_NAME>;

SELECT * FROM <HOLO_SCHEMA_NAME>.<PARTITION_TABLE_NAME>
WHERE <PARTITION_KEY> = '<PARTITION_VALUE>';