Hologres:Access OSS data with Hive Metastore

Méthode 1 : Utiliser une base de données externe (recommandée)

1. Connectez-vous à votre instance Hologres et créez la base de données externe. Cette étape requiert des autorisations de superutilisateur.

   Pour la syntaxe complète, consultez CREATE EXTERNAL DATABASE.

   CREATE EXTERNAL DATABASE <EXTERNAL_DATABASE_NAME>
     owner '<ACCOUNT_NAME>'
     metastore_type 'hms'
     catalog_type 'hive'
     hive_metastore_uris 'thrift://<HIVE_METASTORE_IP>:<PORT>'
     metadata_cache_ttl_sec '600'
     metadata_cache_update_interval_sec '60'
     metadata_refresh_interval_sec '7200'
     oss_endpoint 'oss-<REGION_ID>-internal.aliyuncs.com'
     table_count_limitation_per_schema '2000'
     comment '<EXTERNAL_DATABASE_COMMENT>';

   Parameter	Description	Example
   external_database_name	Nom de la base de données externe.	catalog_hive
   owner	Compte Hologres propriétaire de la base de données externe.	p4_<ACCOUNT_ID>
   metastore_type	Type de service de métadonnées. Définissez sur hms pour Hive Metastore.	hms
   catalog_type	Type de catalogue. Définissez sur hive pour un catalogue Hive.	hive
   hive_metastore_uris	URI du Hive Metastore. Format : thrift://<HIVE_METASTORE_IP>:<PORT>. Le port par défaut est 9083.	thrift://10.0.0.1:9083
   metadata_cache_ttl_sec	Facultatif. Durée de validité des métadonnées mises en cache, en secondes.	600 (default)
   metadata_cache_update_interval_sec	Facultatif. Intervalle entre les mises à jour du cache de métadonnées, en secondes.	60 (default)
   metadata_refresh_interval_sec	Facultatif. Intervalle entre les actualisations complètes des métadonnées, en secondes.	7200 (default)
   oss_endpoint	Endpoint OSS. Pour OSS natif, utilisez l'endpoint interne pour de meilleures performances.	oss-cn-beijing-internal.aliyuncs.com
   table_count_limitation_per_schema	Facultatif. Nombre maximal de tables chargées par schéma.	2000 (default)
   comment	Facultatif. Description de la base de données externe.	holo-emr-hive

   Les intervalles de cache et la limite de tables ci-dessus sont des valeurs d'exemple. Ajustez-les en fonction de la fréquence de mise à jour de vos métadonnées et du nombre de tables dans HMS.

2. (Facultatif) Créez un mappage utilisateur.

   Un mappage utilisateur fournit les identifiants qu'un compte Hologres donné utilise pour lire depuis OSS. Pour plus de détails, consultez CREATE USER MAPPING.

   CREATE USER MAPPING FOR <ACCOUNT_NAME>
   EXTERNAL DATABASE <EXTERNAL_DATABASE_NAME>
   OPTIONS (
     oss_access_id  '<ACCESS_KEY_ID>',
     oss_access_key '<ACCESS_KEY_SECRET>'
   );

3. Interrogez les tables externes.

   Une fois la base de données externe créée, référencez n'importe quelle table avec un nom en trois parties : base de données externe, base de données Hive, table Hive.

   Table non partitionnée :

   SELECT *
   FROM <EXTERNAL_DATABASE_NAME>.<HIVE_DATABASE_NAME>.<HIVE_TABLE_NAME>;

   Table partitionnée : filtrez sur la clé de partition dans la clause WHERE.

   SELECT *
   FROM <EXTERNAL_DATABASE_NAME>.<HIVE_DATABASE_NAME>.<HIVE_PARTITION_TABLE_NAME>
   WHERE <PARTITION_KEY> = '<PARTITION_VALUE>';

Méthode 2 : Utiliser hive_fdw

CREATE EXTENSION IF NOT EXISTS hive_fdw;

CREATE SERVER IF NOT EXISTS <SERVER_NAME> FOREIGN DATA WRAPPER hive_fdw
OPTIONS (
  hive_metastore_uris 'thrift://<HIVE_METASTORE_IP>:<PORT>',
  oss_endpoint '<OSS_ENDPOINT>'
);

-- Grant the current user access to the foreign server
CREATE USER MAPPING FOR current_user SERVER <SERVER_NAME> OPTIONS (
  dlf_access_id  '<ACCESS_KEY_ID>',
  dlf_access_key '<ACCESS_KEY_SECRET>',
  oss_access_id  '<ACCESS_KEY_ID>',
  oss_access_key '<ACCESS_KEY_SECRET>'
);

-- Grant a RAM user (123xxx) access to the foreign server
CREATE USER MAPPING FOR "p4_123xxx" SERVER <SERVER_NAME> OPTIONS (
  dlf_access_id  '<ACCESS_KEY_ID>',
  dlf_access_key '<ACCESS_KEY_SECRET>',
  oss_access_id  '<ACCESS_KEY_ID>',
  oss_access_key '<ACCESS_KEY_SECRET>'
);

-- Remove user mappings
DROP USER MAPPING FOR CURRENT_USER SERVER <SERVER_NAME>;
DROP USER MAPPING FOR "p4_123xxx" SERVER <SERVER_NAME>;

-- Create a single foreign table
CREATE FOREIGN TABLE <HOLO_SCHEMA_NAME>.<TABLE_NAME>
(
  column_name data_type
  [, ...]
)
SERVER <SERVER_NAME>
OPTIONS (
  schema_name '<HIVE_DATABASE_NAME>',
  table_name  '<HIVE_TABLE_NAME>'
);

-- Import multiple foreign tables in batch
IMPORT FOREIGN SCHEMA <HIVE_DATABASE_NAME>
[
  { LIMIT TO | EXCEPT }
  ( table_name [, ...] )
]
FROM SERVER <SERVER_NAME>
INTO <HOLO_SCHEMA_NAME>
OPTIONS (
  if_table_exist        'update',
  if_unsupported_type   'error'
);

SELECT * FROM <HOLO_SCHEMA_NAME>.<TABLE_NAME>;

SELECT * FROM <HOLO_SCHEMA_NAME>.<PARTITION_TABLE_NAME>
WHERE <PARTITION_KEY> = '<PARTITION_VALUE>';