Hologres:CREATE EXTERNAL DATABASE

Configuration de l'instance

Activez l'accélération des lacs de données pour l'instance avant d'exécuter CREATE EXTERNAL DATABASE :

1. Ouvrez la console Hologres et accédez à la page Instance Details ou à la liste des instances.

2. Repérez l'instance cible et cliquez sur Data Lake Acceleration dans la colonne Actions.

3. Cliquez sur Confirm dans la boîte de dialogue.

Activation des services

• DLF : activez le service DLF. Consultez le Guide de démarrage rapide et la rubrique Régions et endpoints disponibles.

• DLF V1.0 : activez également le service Object Storage Service (OSS) et complétez l'autorisation OSS. Sans les autorisations OSS requises, les requêtes échouent même si la table externe est créée avec succès. Consultez la rubrique Stratégie de bucket.

• OSS-HDFS (facultatif) : activez le service OSS-HDFS si vous prévoyez d'utiliser le stockage OSS-HDFS. Consultez la rubrique Activer le service OSS-HDFS.

Autorisations

• Le compte qui exécute CREATE EXTERNAL DATABASE doit disposer des autorisations Superuser dans Hologres.

• Les autorisations sur les données externes (tables, schémas) sont gérées par MaxCompute ou DLF, et non par Hologres. Accordez les autorisations requises au rôle lié au service (SLR) AliyunServiceRoleForHologresIdentityMgmt avant d'accéder aux données externes. Consultez la rubrique Rôle lié au service Hologres.

• Pour utiliser un rôle RAM au lieu du SLR, consultez la rubrique Présentation des rôles RAM.

• Pour les comptes non Alibaba Cloud et les utilisateurs RAM (par exemple, les comptes Hologres BASIC), utilisez CREATE USER MAPPING pour lier et autoriser le compte. Consultez la rubrique CREATE USER MAPPING.

Source de données MaxCompute

CREATE EXTERNAL DATABASE <ext_database_name> WITH
  metastore_type 'maxcompute'
  mc_project '<project_name>'
  [comment '<description>'];

Paramètres

Source de données DLF

DLF prend actuellement en charge uniquement le mode de stockage géré et le type de catalogue Paimon. Définissez metastore_type sur dlf-rest et catalog_type sur paimon . L'authentification utilise par défaut le SLR ( AliyunServiceRoleForHologresIdentityMgmt ). Pour utiliser un rôle RAM à la place, configurez-le via CREATE USER MAPPING .

CREATE EXTERNAL DATABASE <ext_database_name> WITH
  catalog_type 'paimon'
  metastore_type 'dlf-rest'
  dlf_catalog '<dlf_catalog_name>'
  [comment '<description>'];

Paramètres

Source de données DLF V1.0

DLF V1.0 prend en charge le stockage OSS personnalisé et des formats supplémentaires : Paimon, Apache Hudi, Delta Lake, ORC, Parquet, CSV et SequenceFile. Consultez la rubrique Accélération des lacs de données . DLF V1.0 ne prend pas en charge l'authentification par SLR ou par rôle RAM. Utilisez CREATE USER MAPPING pour fournir les identifiants par utilisateur.

CREATE EXTERNAL DATABASE <ext_database_name> WITH
  metastore_type 'dlf'
  dlf_region '<region>'
  dlf_endpoint '<dlf_endpoint>'
  dlf_catalog '<catalog_name>'
  oss_endpoint '<oss_endpoint>'
  [comment '<description>'];

Paramètres

Source de données MaxCompute

Lorsque vous associez un projet MaxCompute utilisant un modèle à deux couches, Hologres l'affiche sous forme d'une structure à trois couches : ext_db.schema.mc_table . Le nom du schéma est par défaut default . Par exemple : SELECT * FROM ext_db.default.mc_table .

-- Create an external database for a MaxCompute project.
CREATE EXTERNAL DATABASE ext_database_mc WITH
  metastore_type 'maxcompute'
  mc_project 'mc_3_layer_project'
  comment 'mc three layer project';

-- Query a table in the external database.
SELECT * FROM ext_database_mc.mc_schema.mc_table;

Source de données DLF

-- Create an external database for a DLF Paimon catalog.
CREATE EXTERNAL DATABASE ext_database_dlf WITH
  metastore_type 'dlf-rest'
  catalog_type 'paimon'
  dlf_catalog 'dlf_paimon_catalog'
  comment 'DLF paimon catalog';

-- Query a table in the external database.
SELECT * FROM ext_database_dlf.dlf_db.paimon_table;

Source de données DLF V1.0

DLF V1.0 nécessite une paire AccessKey pour DLF et OSS. Fournissez les identifiants à l'aide de CREATE USER MAPPING plutôt que de les intégrer directement dans l'instruction CREATE EXTERNAL DATABASE.

-- Create an external database.
CREATE EXTERNAL DATABASE ext_database_dlf1 WITH
  metastore_type 'dlf'
  dlf_region 'cn-beijing'
  dlf_endpoint 'dlf-share.cn-beijing.aliyuncs.com'
  dlf_catalog 'hive_catalog'
  oss_endpoint 'oss-cn-beijing-internal.aliyuncs.com'
  comment 'DLF1.0 hive catalog';

-- Bind credentials for the current user.
CREATE USER MAPPING FOR current_user
EXTERNAL DATABASE ext_database_dlf1
OPTIONS
  (
      dlf_access_id 'LTxxxxxxxxxx',
      dlf_access_key 'y8xxxxxxxxxxxxx',
      oss_access_id 'LTxxxxxxxxxx',
      oss_access_key 'y8xxxxxxxxxxxxx'
  );

-- Query a table in the external database.
SELECT * FROM ext_database_dlf1.dlf_db.hive_table;

Afficher toutes les bases de données externes

SELECT database_name, options FROM hologres.hg_external_databases();

Actualiser les métadonnées externes

Forcez une actualisation immédiate des métadonnées au lieu d'attendre l'expiration du cache :

REFRESH CACHE FOR EXTERNAL DATABASE <EXT_DB_NAME> WITH (cache_level = 'metadata');

Modifier l'intervalle d'actualisation des métadonnées

Le paramètre metadata_refresh_interval_sec contrôle l'intervalle d'actualisation complète du schéma par nœud frontend (FE). La valeur par défaut est de 7 200 secondes. Ajustez-la avec :

ALTER EXTERNAL DATABASE <EXT_DB_NAME> WITH metadata_refresh_interval_sec 1800;