Hologres：CREATE EXTERNAL DATABASE

背景資訊

CREATE EXTERNAL DATABASE 用於在Hologres執行個體中建立一個外部資料庫，來載入外部資料源的中繼資料到Hologres，方便在一個系統中同時管理內、外部資料，實現湖倉一體架構下統一的中繼資料管理。

內部資料是指儲存於Hologres標準儲存和低頻訪問儲存中的資料，外部資料當前支援儲存於MaxCompute和DLF資料湖上的資料，Hologres與MaxCompute無縫互連，通過直讀直寫MaxCompute儲存實現倉內資料高速交換，通過阿里雲資料湖構建（Data Lake Formation，以下簡稱DLF）來管理OSS資料湖資料，使用自研HQE引擎來實現Paimon、Hudi、DeltaLake等湖上資料的高效能讀寫。

External Database是全域可見的，即在Hologres中登入任意Database均可以通過引用ext_db.ext_schema.ext_table的方式實現外部資料源的讀寫，同時也支援直接連接到外部資料庫，在該庫中執行各種SQL及設定GUC。

EXTERNAL DATABASE的許可權全部由外部系統（如MaxCompute、DLF）來控制，Hologres僅做身份透傳。使用者訪問External Database，預設使用服務關聯角色（以下簡稱SLR）進行身份透傳，您需要在訪問外部資料源之前使用主帳號或者有許可權的子帳號完成SLR授權，詳情請參見Hologres服務關聯角色。同時Hologres支援使用RAMRole的方式訪問外部資料源，方便您自訂外部存取策略，詳情請參見RAM角色概覽；對於非阿里雲帳號和RAM帳號，如Hologres BASIC帳號，Hologres提供CREATE USER MAPPING來實現帳號綁定和授權，詳情請參見CREATE USER MAPPING。

前提條件

• Hologres管控台執行個體列表或執行個體詳情頁開啟資料湖加速，操作方式為點擊目標執行個體操作列的資料湖加速並在彈窗中點擊確認。

• 您已開通DLF資料湖構建，詳情請參見快速入門。支援開通DLF的地區請參見已開通的地區和訪問網域名稱。

• 如您使用DLF1.0，則需要額外開通OSS並完成OSS授權操作。通過外部表格方式訪問OSS資料，需要訪問的帳號有OSS的相關存取權限，否則即使建立外表成功了，也無法查詢資料，OSS授權請參見Bucket Policy（Java SDK）。

• （可選）如果您需要使用OSS-HDFS功能，請開通OSS-HDFS服務，詳情請參見開通OSS-HDFS服務。

使用限制

• 執行該命令的帳號需要具備Superuser許可權。

• 登入內部資料庫後，可通過指定完整路徑ext_db.ext_schema.ext_table的方式來訪問外部DB中的表，但串連外部資料庫後，不支援在外部資料庫中訪問內部資料庫中的表。

• 當通過External Database與外部資料源建立映射後，為提升訪問效率，Hologres側預設會有5分鐘的中繼資料快取，當前暫不支援自訂緩衝到期時間。

• 當外部資料源為MaxCompute時，僅支援MaxCompute內部Project，不支援外部Project。

文法說明

CREATE EXTERNAL DATABASE <ext_database_name> WITH 
  metastore_type 'maxcompute'
  mc_project 'project_name' 
  [comment 'xxx'];

CREATE EXTERNAL DATABASE <ext_database_name> WITH
  catalog_type 'paimon'
  metastore_type 'dlf-rest'
  dlf_catalog '<dlf_catalog_name>' 
  [comment 'xxx']; 

CREATE EXTERNAL DATABASE <ext_database_name> WITH
  metastore_type 'dlf'
  dlf_region ' ' 
  dlf_endpoint ' '
  dlf_catalog ' ' 
  oss_endpoint ''
  [comment 'xxx']; 

相關操作

SELECT database_name, options FROM hologres.hg_external_databases();

REFRESH CACHE FOR EXTERNAL DATABASE <EXT_DB_NAME> WITH( cache_level = 'metadata');

ALTER EXTERNAL DATABASE <EXT_DB_NAME> WITH metadata_refresh_interval_sec 1800;

使用樣本

-- 建立External Database。
CREATE EXTERNAL DATABASE ext_database_mc WITH 
  metastore_type 'maxcompute'
  mc_project 'mc_3_layer_project' 
  comment 'mc three layer project';
  
-- 查詢資料。
SELECT * FROM ext_database_mc.mc_schema.mc_table;

-- 建立External Database。
CREATE EXTERNAL DATABASE ext_database_dlf WITH
  metastore_type 'dlf-rest'
  catalog_type 'paimon'
  dlf_catalog 'dlf_paimon_catalog' 
  comment 'DLF paimon catalog'; 

-- 查詢資料。
SELECT * FROM ext_database_dlf.dlf_db.paimon_table;

-- 建立External Database。
CREATE EXTERNAL DATABASE ext_database_dlf1 WITH
  metastore_type 'dlf'
  dlf_region 'cn-beijing' 
  dlf_endpoint 'dlf-share.cn-beijing.aliyuncs.com'
  dlf_catalog 'hive_catalog' 
  oss_endpoint 'oss-cn-beijing-internal.aliyuncs.com'
  comment 'DLF1.0 hive catalog'; 

-- 為目前使用者建立User Mapping
CREATE USER MAPPING FOR current_user
EXTERNAL DATABASE ext_database_dlf1
OPTIONS
  (
      -- For DLF1.0
      dlf_access_id 'LTxxxxxxxxxx',
      dlf_access_key 'y8xxxxxxxxxxxxx',
      oss_access_id 'LTxxxxxxxxxx',
      oss_access_key 'y8xxxxxxxxxxxxx'
  );

-- 查詢資料。
SELECT * FROM ext_database_dlf1.dlf_db.hive_table;