Hologres:CREATE EXTERNAL DATABASE

Configuração da instância

Ative a aceleração de data lake na instância antes de executar CREATE EXTERNAL DATABASE:

1. Abra o console do Hologres e acesse a página Instance List ou Instance Details.

2. Localize a instância desejada e clique em Data Lake Acceleration na coluna Actions.

3. Clique em Confirm na caixa de diálogo.

Ativação de serviços

• DLF: Ative o serviço DLF. Consulte Início rápido e Regiões e endpoints disponíveis.

• DLF V1.0: Ative também o Object Storage Service (OSS) e conclua a autorização do OSS. Sem as permissões necessárias no OSS, as consultas falharão mesmo que a tabela externa seja criada com sucesso. Consulte Política de bucket.

• OSS-HDFS (opcional): Ative o serviço OSS-HDFS caso pretenda utilizar o armazenamento OSS-HDFS. Consulte Ativar o serviço OSS-HDFS.

Permissões

• A conta que executa CREATE EXTERNAL DATABASE deve ter permissões de Superuser no Hologres.

• O MaxCompute ou o DLF controlam as permissões sobre os dados externos (tabelas, schemas), e não o Hologres. Conceda à função vinculada ao serviço (SLR) AliyunServiceRoleForHologresIdentityMgmt as permissões necessárias antes de acessar dados externos. Consulte Função vinculada ao serviço do Hologres.

• Para utilizar uma função RAM em vez da SLR, consulte Visão geral de funções RAM.

• Para contas fora da Alibaba Cloud e usuários RAM (por exemplo, contas Hologres BASIC), utilize CREATE USER MAPPING para vincular e autorizar a conta. Consulte CREATE USER MAPPING.

Fonte de dados MaxCompute

CREATE EXTERNAL DATABASE <ext_database_name> WITH
  metastore_type 'maxcompute'
  mc_project '<project_name>'
  [comment '<description>'];

Parâmetros

Fonte de dados DLF

Atualmente, o DLF oferece suporte apenas ao modo de armazenamento gerenciado e ao tipo de catálogo Paimon. Defina metastore_type como dlf-rest e catalog_type como paimon . A autenticação usa por padrão a SLR ( AliyunServiceRoleForHologresIdentityMgmt ). Para usar uma função RAM, configure-a via CREATE USER MAPPING .

CREATE EXTERNAL DATABASE <ext_database_name> WITH
  catalog_type 'paimon'
  metastore_type 'dlf-rest'
  dlf_catalog '<dlf_catalog_name>'
  [comment '<description>'];

Parâmetros

Fonte de dados DLF V1.0

O DLF V1.0 oferece suporte a armazenamento OSS personalizado e formatos adicionais: Paimon, Apache Hudi, Delta Lake, ORC, Parquet, CSV e SequenceFile. Consulte Aceleração de data lake . O DLF V1.0 não oferece suporte à autenticação via SLR ou função RAM. Utilize CREATE USER MAPPING para fornecer credenciais por usuário.

CREATE EXTERNAL DATABASE <ext_database_name> WITH
  metastore_type 'dlf'
  dlf_region '<region>'
  dlf_endpoint '<dlf_endpoint>'
  dlf_catalog '<catalog_name>'
  oss_endpoint '<oss_endpoint>'
  [comment '<description>'];

Parâmetros

Fonte de dados MaxCompute

Ao mapear um projeto MaxCompute que utiliza um modelo de duas camadas, o Hologres o exibe como uma estrutura de três camadas: ext_db.schema.mc_table . O nome do schema assume por padrão o valor default . Por exemplo: SELECT * FROM ext_db.default.mc_table .

-- Create an external database for a MaxCompute project.
CREATE EXTERNAL DATABASE ext_database_mc WITH
  metastore_type 'maxcompute'
  mc_project 'mc_3_layer_project'
  comment 'mc three layer project';

-- Query a table in the external database.
SELECT * FROM ext_database_mc.mc_schema.mc_table;

Fonte de dados DLF

-- Create an external database for a DLF Paimon catalog.
CREATE EXTERNAL DATABASE ext_database_dlf WITH
  metastore_type 'dlf-rest'
  catalog_type 'paimon'
  dlf_catalog 'dlf_paimon_catalog'
  comment 'DLF paimon catalog';

-- Query a table in the external database.
SELECT * FROM ext_database_dlf.dlf_db.paimon_table;

Fonte de dados DLF V1.0

O DLF V1.0 exige um par de AccessKey tanto para o DLF quanto para o OSS. Forneça as credenciais usando CREATE USER MAPPING em vez de incorporá-las na instrução CREATE EXTERNAL DATABASE.

-- Create an external database.
CREATE EXTERNAL DATABASE ext_database_dlf1 WITH
  metastore_type 'dlf'
  dlf_region 'cn-beijing'
  dlf_endpoint 'dlf-share.cn-beijing.aliyuncs.com'
  dlf_catalog 'hive_catalog'
  oss_endpoint 'oss-cn-beijing-internal.aliyuncs.com'
  comment 'DLF1.0 hive catalog';

-- Bind credentials for the current user.
CREATE USER MAPPING FOR current_user
EXTERNAL DATABASE ext_database_dlf1
OPTIONS
  (
      dlf_access_id 'LTxxxxxxxxxx',
      dlf_access_key 'y8xxxxxxxxxxxxx',
      oss_access_id 'LTxxxxxxxxxx',
      oss_access_key 'y8xxxxxxxxxxxxx'
  );

-- Query a table in the external database.
SELECT * FROM ext_database_dlf1.dlf_db.hive_table;

Visualize todos os bancos de dados externos

SELECT database_name, options FROM hologres.hg_external_databases();

Atualizar metadados externos

Force uma atualização imediata dos metadados em vez de aguardar a expiração do cache:

REFRESH CACHE FOR EXTERNAL DATABASE <EXT_DB_NAME> WITH (cache_level = 'metadata');

Modifique o intervalo de atualização de metadados

O parâmetro metadata_refresh_interval_sec controla o intervalo de atualização completa do schema por nó frontend (FE). O valor padrão é 7.200 segundos. Ajuste-o com:

ALTER EXTERNAL DATABASE <EXT_DB_NAME> WITH metadata_refresh_interval_sec 1800;