Hologres:DLF カタログを用いた Paimon データへのアクセス

適用シナリオ

SLR モードは、現在のユーザー ID を使用して外部データベースのデータにアクセスするシナリオに適用されます。Hologres では、デフォルトで SLR および ID パススルーを用いて、マルチクラウドプロダクト間のアクセスを実現します。

操作手順

1. 新規購入または Hologres V2.2 以降へアップグレードされたインスタンスの場合、システムが自動的にサービスリンクロールを作成します。手動での作成は不要であり、このステップはスキップできます。

   説明

   Hologres V2.2 より前のバージョンを実行しているインスタンスの場合、Resource Access Management クイック承認 ページを使用してサービスリンクロールを作成する必要があります。

2. Hologres インスタンスに接続し、外部データベースを作成します。

   CREATE EXTERNAL DATABASE EXT_DATABASE_NAME WITH
     catalog_type 'paimon',
     metastore_type 'dlf-rest',
     dlf_catalog 'DLF_CATALOG_NAME',
     comment 'dlf catalog';
   

3. 外部データベース内のスキーマおよびテーブルを表示します。

   -- 外部データベース内のスキーマをクエリ
   SELECT * FROM hologres.hg_external_schemas('<span class="var-span" contenteditable="true" data-var="EXT_DATABASE_NAME">EXT_DATABASE_NAME'</span>);
   
   -- スキーマ内のテーブルをクエリ
   SELECT * FROM hologres.hg_external_tables ('<span class="var-span" contenteditable="true" data-var="EXT_DATABASE_NAME">EXT_DATABASE_NAME'</span>, '<span class="var-span" contenteditable="true" data-var="EXT_SCHEMA_NAME">EXT_SCHEMA_NAME'</span>);

4. テーブルデータをクエリします。

   SELECT * FROM EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME;

適用シナリオ

STS モードは、クロスアカウントアクセス、および Hologres カスタムアカウント（BASIC アカウント）が外部データベースのデータにアクセスするシナリオに適用されます。

操作手順

1. Resource Access Management (RAM) コンソールにログインし、RAM ロールを作成して、DLF アクセス用に AliyunDLFFullAccess または AliyunDLFReadOnlyAccess 権限を付与します。詳細については、「RAM ロールの作成および権限の付与」をご参照ください。

2. 信頼ポリシーを更新し、RAM ロールが信頼される Alibaba Cloud サービス Hologres によって引き受けられるようにします。詳細については、「RAM ロールの信頼ポリシーの変更」をご参照ください。

   {
     "Statement": [
       {
         "Action": "sts:AssumeRole",
         "Effect": "Allow",
         "Principal": {
           "Service": [
             "hologres.aliyuncs.com"
           ]
         }
       }
     ],
     "Version": "1"
   }

3. Data Lake Formation コンソールにログインし、対象カタログ内の RAM ロールに対してデータベースおよびテーブルのアクセス権限を付与します。

4. Hologres で外部データベースを作成します。先に作成した RAM ロールを認証ポリシーとして指定します。

   CREATE EXTERNAL DATABASE EXT_DATABASE_NAME WITH
     catalog_type 'paimon'
     metastore_type 'dlf-rest'
     dlf_catalog 'paimon_catalog' 
     rolearn 'acs:ram::106380604****:role/***-ramrole'
     comment 'dlf catalog'
     ;

5. Hologres で USER MAPPING を作成し、DLF カタログにアクセスする RAM ユーザーまたは BASIC アカウントを RAM ロールに関連付けます。

   CREATE USER MAPPING FOR "<RAM user | BASIC account>"
   EXTERNAL DATABASE EXT_DATABASE_NAME
   OPTIONS
   (
      rolearn 'acs:ram::10638060***:role/***ramrole'
   );

   説明

   • USER MAPPING の詳細については、「CREATE USER MAPPING」をご参照ください。

   • RAM ユーザーの作成方法については、「RAM ユーザーの作成」をご参照ください。

   • BASIC アカウントの作成方法については、「ユーザー管理」をご参照ください。

6. RAM ユーザーで Hologres コンソールにログインするか、BASIC アカウントで Hologres インスタンスへの再接続を行うと、以下の SQL クエリを実行できます。

   SELECT * FROM EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME;

外部テーブルの統計情報の収集

ANALYZE および AUTO ANALYZE コマンドを使用して、データベース内のテーブルコンテンツに関する統計情報を収集できます。オプティマイザーはこれらの統計情報を用いて最適なクエリ実行計画を生成し、クエリパフォーマンスを向上させます。詳細については、「ANALYZE および AUTO ANALYZE」をご参照ください。

-- テーブルの統計情報を更新します。デフォルトでは、このコマンドはテーブル内のすべての列について統計情報を収集します。
analyze EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME;

-- 特定の列の統計情報を更新します。このコマンドは全テーブル更新よりも多くのデータをサンプリングし、より正確な結果を提供します。主にフィルター条件に出現する列に対して使用します。
analyze EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME(COLNAME, COLNAME);

-- Auto Analyze を有効化します
ALTER EXTERNAL DATABASE EXT_DATABASE_NAME WITH enable_auto_analyze 'true';

Paimon Snapshots システムテーブルのクエリ

SELECT * FROM hologres.hg_list_snapshots('EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME');

Snapshots システムテーブルのフィールドは、Paimon システムテーブルのフィールドと以下のように対応します：

Paimon Snapshots システムテーブルは、hologres.hg_list_versions 関数を用いてもクエリできます。Paimon テーブルのクエリにおいて、Version は Snapshot ID に対応します。

SELECT * FROM hologres.hg_list_versions('EXT_DATABASE_NAME.<span class="var-span" contenteditable="true" data-var="EXT_SCHEMA_NAME">EXT_SCHEMA_NAME.EXT_TABLE_NAME'</span>);

Paimon Tag システムテーブルのクエリ

SELECT * FROM hologres.hg_list_tags('EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME');

Tag システムテーブルのフィールドは、Paimon システムテーブルのフィールドと以下のように対応します：

タイムスタンプに基づく Paimon 履歴スナップショットのクエリ

SELECT * FROM EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME FOR TIMESTAMP AS OF 'TIMESTAMP';

バージョンに基づく Paimon 履歴スナップショットのクエリ

Paimon テーブルでは、Version は Snapshot ID に対応します。

SELECT * FROM '<span class="var-span" contenteditable="true" data-var="EXT_DATABASE_NAME">EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME'</span> FOR VERSION AS OF '<span class="var-span" contenteditable="true" data-var="VERSION">VERSION'</span>;

タグに基づく Paimon 履歴スナップショットのクエリ

SELECT * FROM '<span class="var-span" contenteditable="true" data-var="EXT_DATABASE_NAME">EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME'</span> FOR TAG AS OF '<span class="var-span" contenteditable="true" data-var="TAG">TAG'</span>;

クエリ ブランチ システムテーブル

SELECT * FROM hologres.hg_list_branches('EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME');

ブランチシステムテーブルのフィールドは、Paimon システムテーブルのフィールドと以下のように対応します：

指定ブランチのデータのクエリ

SELECT * FROM '<span class="var-span" contenteditable="true" data-var="EXT_DATABASE_NAME">EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME'</span> FOR branch AS OF '<span class="var-span" contenteditable="true" data-var="TAG">TAG'</span>;

指定ブランチの履歴スナップショットのクエリ

-- タイムスタンプに基づくクエリ
SELECT * FROM '<span class="var-span" contenteditable="true" data-var="EXT_DATABASE_NAME">EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME'</span> FOR branch AS OF '<span class="var-span" contenteditable="true" data-var="BRANCH_NAME">BRANCH_NAME'</span> TIMESTAMP AS OF '<span class="var-span" contenteditable="true" data-var="TIMESTAMP">TIMESTAMP'</span>;

-- タグに基づくクエリ
SELECT * FROM '<span class="var-span" contenteditable="true" data-var="EXT_DATABASE_NAME">EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME'</span> FOR branch AS OF '<span class="var-span" contenteditable="true" data-var="BRANCH_NAME">BRANCH_NAME'</span> TAG AS '<span class="var-span" contenteditable="true" data-var="TAG_NAME">TAG_NAME'</span>;