Hologres:DLF を使用した Paimon カタログへのアクセス

利用シーン

SLR モードは、現在の ID を使用して外部データベースのデータにアクセスするシナリオに適しています。デフォルトでは、Hologres は SLR と ID パススルーを使用してクロスサービスアクセスを実装します。

手順

1. 新規に購入したインスタンス、または Hologres V2.2 以降にアップグレードしたインスタンスの場合、システムは自動的に SLR を作成します。このステップはスキップできます。

   説明

   Hologres V2.2 より前のインスタンスの場合は、アクセス制御のクイック承認ページに移動して SLR を作成してください。

2. Hologres インスタンスに接続し、外部データベースを作成します。

   CREATE EXTERNAL DATABASE EXT_DATABASE_NAME WITH
     catalog_type 'paimon',
     metastore_type 'dlf-rest',
     dlf_catalog 'DLF_CATALOG_NAME',
     comment 'paimon catalog on dlf';

3. 外部データベース内のスキーマとテーブルを表示します。

   -- 外部データベース内のスキーマをクエリします。
   SELECT * FROM hologres.hg_external_schemas('<span class="var-span" contenteditable="true" data-var="EXT_DATABASE_NAME"><ext_database_name>'</span>);
   
   -- スキーマ内のテーブルをクエリします。
   SELECT * FROM hologres.hg_external_tables ('<span class="var-span" contenteditable="true" data-var="EXT_DATABASE_NAME"><ext_database_name>'</span>, '<span class="var-span" contenteditable="true" data-var="EXT_SCHEMA_NAME"><ext_schema_name>'</span>);

4. テーブルデータをクエリします。

   SELECT * FROM EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME;

利用シーン

STS モードは、クロスアカウントアクセスまたは Hologres カスタムアカウント (BASIC アカウント) を使用して外部データベースのデータにアクセスするシナリオに適しています。

手順

1. RAM コンソールにログインし、RAM ロールを作成し、そのロールに AliyunDLFFullAccess または AliyunDLFReadOnlyAccess 権限を付与します。詳細については、「RAM ロールの作成と権限付与」をご参照ください。

2. 信頼できる Alibaba Cloud サービスである Hologres が RAM ロールを偽装できるように、信頼ポリシーを追加します。詳細については、「RAM ロールの信頼ポリシーの変更」をご参照ください。

   {
     "Statement": [
       {
         "Action": "sts:AssumeRole",
         "Effect": "Allow",
         "Principal": {
           "Service": [
             "hologres.aliyuncs.com"
           ]
         }
       }
     ],
     "Version": "1"
   }

3. Data Lake Formation コンソールにログインします。宛先カタログで、RAM ロールにデータベースとテーブルへのアクセス権限を付与します。

4. Hologres で、外部データベースを作成し、認証ポリシーで前述の RAM ロールを指定します。

   CREATE EXTERNAL DATABASE <ext_database_name> WITH
     catalog_type 'paimon'
     metastore_type 'dlf-rest'
     dlf_catalog 'paimon_catalog' 
     rolearn 'acs:ram::106380604****:role/***-ramrole'
     comment 'paimon catalog on dlf'
     ;

5. Hologres で、ユーザーマッピングを作成し、DLF カタログにアクセスする必要がある RAM ユーザーまたは BASIC アカウントを RAM ロールに関連付けます。

   CREATE USER MAPPING FOR "<RAM user | basic account>"
   EXTERNAL DATABASE EXT_DATABASE_NAME
   OPTIONS
   (
      rolearn 'acs:ram::10638060***:role/***ramrole'
   );

   説明

   • ユーザーマッピングの詳細については、「CREATE USER MAPPING」をご参照ください。

   • RAM ユーザーの作成方法の詳細については、「RAM ユーザーの作成」をご参照ください。

   • BASIC アカウントの作成方法の詳細については、「ユーザー管理」をご参照ください。

6. RAM ユーザーとしてHologres 管理コンソールにログインするか、BASIC アカウントとしてHologres インスタンスに再接続します。その後、次の SQL クエリ文を実行します。

   SELECT * FROM <ext_database_name>.<ext_schema_name>.<ext_table_name>;

外部テーブルの統計情報収集

ANALYZE および AUTO ANALYZE コマンドは、データベース内のテーブルの内容に関する統計情報を収集します。オプティマイザーはこれらの統計情報を使用して、最適なクエリプランを生成し、クエリ効率を向上させます。詳細については、「ANALYZE と AUTO ANALYZE」をご参照ください。

-- テーブルの統計情報を更新します。デフォルトでは、テーブル内のすべての列の統計情報が収集されます。
analyze <ext_database_name>.<ext_schema_name>.<ext_table_name>;

-- 特定の列の統計情報を更新します。テーブル全体の統計情報を更新する場合よりも多くのデータがサンプリングされるため、統計情報がより正確になります。これは主に条件付きの列を更新するために使用されます。
analyze <ext_database_name>.<ext_schema_name>.<ext_table_name>(<colname>, <colname>);

-- Auto Analyze を有効にします。
ALTER EXTERNAL DATABASE <ext_database_name> WITH enable_auto_analyze 'true';

Paimon Snapshots システムテーブルのクエリ

SELECT * FROM hologres.hg_list_snapshots('EXT_DATABASE_NAME.<span class="var-span" contenteditable="true" data-var="EXT_SCHEMA_NAME">EXT_SCHEMA_NAME.EXT_TABLE_NAME'</span>);

次の表に、Snapshots システムテーブルのフィールドと Paimon システムテーブルのフィールドのマッピングを示します。

また、hologres.hg_list_versions 関数を使用して Paimon Snapshots システムテーブルをクエリすることもできます。Paimon テーブルクエリの場合、バージョンはスナップショット ID に対応します。

SELECT * FROM hologres.hg_list_versions('EXT_DATABASE_NAME.<span class="var-span" contenteditable="true" data-var="EXT_SCHEMA_NAME">EXT_SCHEMA_NAME.EXT_TABLE_NAME'</span>);

Paimon Tag システムテーブルのクエリ

SELECT * FROM hologres.hg_list_tags('<span class="var-span" contenteditable="true" data-var="EXT_DATABASE_NAME"><ext_database_name>.<ext_schema_name>.<ext_table_name>'</span>);

次の表に、Tag システムテーブルのフィールドと Paimon システムテーブルのフィールドのマッピングを示します。

タイムスタンプに基づく履歴 Paimon スナップショットのクエリ

SELECT * FROM EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME FOR TIMESTAMP AS OF 'TIMESTAMP';

バージョンに基づく履歴 Paimon スナップショットのクエリ

Paimon テーブルでは、バージョンはスナップショット ID に対応します。

SELECT * FROM '<span class="var-span" contenteditable="true" data-var="EXT_DATABASE_NAME"><ext_database_name>.<ext_schema_name>.<ext_table_name>'</span> FOR VERSION AS OF '<span class="var-span" contenteditable="true" data-var="VERSION"><version>'</span>;

タグに基づく履歴 Paimon スナップショットのクエリ

SELECT * FROM EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME FOR TAG AS OF 'TAG';

Branch システムテーブルのクエリ

SELECT * FROM hologres.hg_list_branches('<span class="var-span" contenteditable="true" data-var="EXT_DATABASE_NAME"><ext_database_name>.<ext_schema_name>.<ext_table_name>'</span>);

次の表に、Branch システムテーブルのフィールドと Paimon システムテーブルのフィールドのマッピングを示します。

指定されたブランチからのデータクエリ

SELECT * FROM EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME FOR branch AS OF 'TAG';

指定されたブランチからの履歴スナップショットデータのクエリ

-- タイムスタンプに基づくクエリ。
SELECT * FROM '<span class="var-span" contenteditable="true" data-var="EXT_DATABASE_NAME"><ext_database_name>.<ext_schema_name>.<ext_table_name>'</span> FOR branch AS OF '<span class="var-span" contenteditable="true" data-var="BRANCH_NAME"><branch_name>'</span> TIMESTAMP AS OF '<span class="var-span" contenteditable="true" data-var="TIMESTAMP"><timestamp>'</span>;

-- タグに基づくクエリ。
SELECT * FROM '<span class="var-span" contenteditable="true" data-var="EXT_DATABASE_NAME"><ext_database_name>.<ext_schema_name>.<ext_table_name>'</span> FOR branch AS OF '<span class="var-span" contenteditable="true" data-var="BRANCH_NAME"><branch_name>'</span> TAG AS OF '<span class="var-span" contenteditable="true" data-var="TAG_NAME"><tag_name>'</span>;