实时数仓Hologres：基于DLF访问Paimon Catalog

适用场景

SLR模式适用于使用当前用户身份访问External Database数据的场景，Hologres默认基于SLR和身份透传实现跨云产品访问。

操作步骤

1. 对于新购或升级至Hologres V2.2及以上版本的实例，系统会默认创建服务关联角色，无需手动创建，可跳过该步骤。

   说明

   Hologres V2.2以下版本的实例，需访问控制快速授权页面，创建服务关联角色。

2. 连接Hologres实例并创建External Database。

   CREATE EXTERNAL DATABASE EXT_DATABASE_NAME WITH
     catalog_type 'paimon'
     metastore_type 'dlf-rest'
     dlf_catalog 'DLF_CATALOG_NAME' 
     comment 'paimon catalog on dlf'
     ;

3. 查看External Database下的Schema和表。

   -- 查询External Database下的Schema
   SELECT * FROM hologres.hg_external_schemas('EXT_DATABASE_NAME');
   
   -- 查询Schema下的表
   SELECT * FROM hologres.hg_external_tables ('EXT_DATABASE_NAME', 'EXT_SCHEMA_NAME');

4. 查询表数据。

   SELECT * FROM EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME;

适用场景

STS模式适用于跨账号访问和Hologres自定义账号（BASIC账号）访问External Database数据的场景。

操作步骤

1. 登录RAM控制台，创建RAM角色，并授予DLF访问权限AliyunDLFFullAccess或AliyunDLFReadOnlyAccess。详情请参见创建RAM角色并授权。

2. 增加信任策略，允许该RAM角色被可信云服务Hologres扮演。详情请参见修改RAM角色的信任策略。

   {
     "Statement": [
       {
         "Action": "sts:AssumeRole",
         "Effect": "Allow",
         "Principal": {
           "Service": [
             "hologres.aliyuncs.com"
           ]
         }
       }
     ],
     "Version": "1"
   }

3. 登录数据湖构建控制台，在目标Catalog中对RAM角色授予DB和表的访问权限。

4. 在Hologres中创建External Database，认证策略指定上述RAM角色。

   CREATE EXTERNAL DATABASE EXT_DATABASE_NAME WITH
     catalog_type 'paimon'
     metastore_type 'dlf-rest'
     dlf_catalog 'paimon_catalog' 
     rolearn 'acs:ram::106380604****:role/***-ramrole'
     comment 'paimon catalog on dlf'
     ;

5. 在Hologres中创建USER MAPPING，将需要访问DLF Catalog的RAM用户或BASIC账号关联到RAM角色。

   CREATE USER MAPPING FOR "<RAM用户｜BASIC账号>"
   EXTERNAL DATABASE EXT_DATABASE_NAME
   OPTIONS
   (
      rolearn 'acs:ram::10638060***:role/***ramrole'
   );

   说明

   • 关于USER MAPPING介绍，详情请参见CREATE USER MAPPING。

   • 关于创建RAM用户详情，请参见创建RAM用户。

   • 关于创建BASIC账号详情，请参见用户管理。

6. 通过RAM用户登录Hologres管理控制台或BASIC账号重新连接Hologres实例后，执行以下查询SQL。

   SELECT * FROM EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME;

收集外表统计信息

Analyze和Auto Analyze命令用于收集数据库中表内容的统计信息，优化器会根据这些统计信息生成最佳的查询计划，从而提高查询效率，详情请参见ANALYZE和AUTO ANALYZE。

-- 更新某个表的统计信息，默认会收集表中所有列的统计信息
analyze EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME;

-- 更新某个列的统计信息，会比更新表时采样的数据更多，更精准，主要用于更新管理条件的列
analyze EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME(COLNAME, COLNAME);

-- 打开Auto Analyze
ALTER EXTERNAL DATABASE EXT_DATABASE_NAME WITH enable_auto_analyze 'true';

查询Paimon Snapshots系统表

SELECT * FROM hologres.hg_list_snapshots('EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME;');

Snapshots系统表包含的字段信息与Paimon系统表的对应关系如下：

您也可以通过hologres.hg_list_versions函数来查询Paimon Snapshots系统表，对于Paimon表查询来说，Version对应Snapshots ID。

SELECT * FROM hologres.hg_list_versions('EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME');

查询Paimon Tag系统表

SELECT * FROM hologres.hg_list_tags('EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME');

Tag系统表包含的字段信息与Paimon系统表的对应关系如下：

基于Timestamp查询Paimon历史快照

SELECT * FROM 'EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME' FOR TIMESTAMP AS OF 'TIMESTAMP';

基于Version查询Paimon历史快照

对于Paimon表来说，Version对应Snapshots ID。

SELECT * FROM 'EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME' FOR VERSION AS OF 'VERSION';

基于Tag查询Paimon历史快照

SELECT * FROM 'EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME' FOR TAG AS OF 'TAG';

查询Branch系统表

SELECT * FROM hologres.hg_list_branches('EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME');

Branch系统表包含的字段信息与Paimon系统表的对应关系如下：

查询指定分支数据

SELECT * FROM 'EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME' FOR branch AS OF 'TAG';

查询指定分支的历史Snapshots数据

-- 基于Timestamp查询
SELECT * FROM 'EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME' FOR branch AS OF 'BRANCH_NAME' TIMESTAMP AS OF 'TIMESTAMP';

-- 基于Tag查询
SELECT * FROM 'EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME' FOR branch AS OF 'BRANCH_NAME' TAG AS OF 'TAG_NAME';