Hologres：基於DLF訪問Paimon Catalog

適用情境

SLR模式適用於使用目前使用者身份訪問External Database資料的情境，Hologres預設基於SLR和身份透傳實現跨雲產品訪問。

操作步驟

1. 對於新購或升級至Hologres V2.2及以上版本的執行個體，系統會預設建立服務關聯角色，無需手動建立，可跳過該步驟。

   說明

   Hologres V2.2以下版本的執行個體，需存取控制快速授權頁面，建立服務關聯角色。

2. 串連Hologres執行個體並建立External Database。

   CREATE EXTERNAL DATABASE EXT_DATABASE_NAME WITH
     catalog_type 'paimon'
     metastore_type 'dlf-rest'
     dlf_catalog 'DLF_CATALOG_NAME' 
     comment 'paimon catalog on dlf'
     ;

3. 查看External Database下的Schema和表。

   -- 查詢External Database下的Schema
   SELECT * FROM hologres.hg_external_schemas('EXT_DATABASE_NAME');
   
   -- 查詢Schema下的表
   SELECT * FROM hologres.hg_external_tables ('EXT_DATABASE_NAME', 'EXT_SCHEMA_NAME');

4. 查詢表資料。

   SELECT * FROM EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME;

適用情境

STS模式適用於跨帳號訪問和Hologres自訂帳號（BASIC帳號）訪問External Database資料的情境。

操作步驟

1. 登入RAM控制台，建立RAM角色，並授予DLF存取權限AliyunDLFFullAccess或AliyunDLFReadOnlyAccess。詳情請參見建立RAM角色並授權。

2. 增加信任策略，允許該RAM角色被可信雲端服務Hologres扮演。詳情請參見修改RAM角色的信任策略。

   {
     "Statement": [
       {
         "Action": "sts:AssumeRole",
         "Effect": "Allow",
         "Principal": {
           "Service": [
             "hologres.aliyuncs.com"
           ]
         }
       }
     ],
     "Version": "1"
   }

3. 登入資料湖構建控制台，在目標Catalog中對RAM角色授予DB和表的存取權限。

4. 在Hologres中建立External Database，認證策略指定上述RAM角色。

   CREATE EXTERNAL DATABASE EXT_DATABASE_NAME WITH
     catalog_type 'paimon'
     metastore_type 'dlf-rest'
     dlf_catalog 'paimon_catalog' 
     rolearn 'acs:ram::106380604****:role/***-ramrole'
     comment 'paimon catalog on dlf'
     ;

5. 在Hologres中建立USER MAPPING，將需要訪問DLF Catalog的RAM使用者或BASIC帳號關聯到RAM角色。

   CREATE USER MAPPING FOR "<RAM使用者｜BASIC帳號>"
   EXTERNAL DATABASE EXT_DATABASE_NAME
   OPTIONS
   (
      rolearn 'acs:ram::10638060***:role/***ramrole'
   );

   說明

   • 關於USER MAPPING介紹，詳情請參見CREATE USER MAPPING。

   • 關於建立RAM使用者詳情，請參見建立RAM使用者。

   • 關於建立BASIC帳號詳情，請參見使用者管理。

6. 通過RAM使用者登入Hologres管理主控台或BASIC帳號重新串連Hologres執行個體後，執行以下查詢SQL。

   SELECT * FROM EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME;

收集外表統計資訊

Analyze和Auto Analyze命令用於收集資料庫中表內容的統計資訊，最佳化器會根據這些統計資訊產生最佳的查詢計劃，從而提高查詢效率，詳情請參見ANALYZE和AUTO ANALYZE。

-- 更新某個表的統計資訊，預設會收集表中所有列的統計資訊
analyze EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME;

-- 更新某個列的統計資訊，會比更新表時採樣的資料更多，更精準，主要用於更新管理條件的列
analyze EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME(COLNAME, COLNAME);

-- 開啟Auto Analyze
ALTER EXTERNAL DATABASE EXT_DATABASE_NAME WITH enable_auto_analyze 'true';

查詢Paimon Snapshots系統資料表

SELECT * FROM hologres.hg_list_snapshots('EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME;');

Snapshots系統資料表包含的欄位資訊與Paimon系統資料表的對應關係如下：

您也可以通過hologres.hg_list_versions函數來查詢Paimon Snapshots系統資料表，對於Paimon表查詢來說，Version對應Snapshots ID。

SELECT * FROM hologres.hg_list_versions('EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME');

查詢Paimon Tag系統資料表

SELECT * FROM hologres.hg_list_tags('EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME');

Tag系統資料表包含的欄位資訊與Paimon系統資料表的對應關係如下：

基於Timestamp查詢Paimon歷史快照

SELECT * FROM 'EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME' FOR TIMESTAMP AS OF 'TIMESTAMP';

基於Version查詢Paimon歷史快照

對於Paimon表來說，Version對應Snapshots ID。

SELECT * FROM 'EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME' FOR VERSION AS OF 'VERSION';

基於Tag查詢Paimon歷史快照

SELECT * FROM 'EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME' FOR TAG AS OF 'TAG';

查詢Branch系統資料表

SELECT * FROM hologres.hg_list_branches('EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME');

Branch系統資料表包含的欄位資訊與Paimon系統資料表的對應關係如下：

查詢指定分支資料

SELECT * FROM 'EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME' FOR branch AS OF 'TAG';

查詢指定分支的歷史Snapshots資料

-- 基於Timestamp查詢
SELECT * FROM 'EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME' FOR branch AS OF 'BRANCH_NAME' TIMESTAMP AS OF 'TIMESTAMP';

-- 基於Tag查詢
SELECT * FROM 'EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME' FOR branch AS OF 'BRANCH_NAME' TAG AS OF 'TAG_NAME';