Hologres:外部データベースの作成

背景情報

CREATE EXTERNAL DATABASE ステートメントを使用すると、Hologres インスタンス内に外部データベースを作成し、外部データソースからメタデータをロードできます。これにより、内部データと外部データを単一のシステムで統合的に管理でき、データレイクハウスアーキテクチャにおけるメタデータの一元管理を実現できます。

内部データは、Hologres 内で標準ストレージおよび低頻度アクセスストレージを使用して保存されます。対応している外部データソースには、MaxCompute および Data Lake Formation (DLF) データレイクが含まれます。Hologres は MaxCompute とシームレスに統合されており、MaxCompute ストレージに対して直接読み取りおよび書き込みを行うことで、データウェアハウス内での高速なデータ交換を実現します。Hologres は Alibaba Cloud Data Lake Formation (DLF) を使用して OSS データレイク内のデータを管理します。また、Hologres は自社開発の High-QPS Engine (HQE) を活用し、Paimon、Hudi、DeltaLake などのデータレイクフォーマットに対して高性能な読み取りおよび書き込みを実現します。

外部データベースはグローバルに可視化されます。つまり、Hologres の任意のデータベースから ext_db.ext_schema.ext_table のような完全なパスを参照することで、外部データソースへのアクセスおよび書き込みが可能です。また、外部データベースに直接接続して各種 SQL ステートメントを実行したり、Grand Unified Configuration (GUC) パラメーターを設定したりすることもできます。

外部データベースに対する権限は、MaxCompute や DLF などの外部システムによって完全に制御されます。Hologres は ID のパススルーのみを実行します。ユーザーが外部データベースにアクセスする際には、デフォルトでサービスリンクロール (SLR) を使用した ID パススルーが適用されます。外部データソースにアクセスする前に、Alibaba Cloud アカウントまたは権限付与済みの RAM ユーザーを使用して、SLR に必要な権限を事前に付与する必要があります。詳細については、「Hologres サービスリンクロール」をご参照ください。また、Hologres では RAM ロールを用いた外部データソースへのアクセスもサポートしており、外部アクセスポリシーをカスタマイズできます。詳細については、「RAM ロールの概要」をご参照ください。Alibaba Cloud アカウントおよび RAM ユーザー以外（例：Hologres BASIC アカウント）の場合、Hologres は CREATE USER MAPPING ステートメントを提供し、アカウントのバインドおよび権限付与を実装します。詳細については、「CREATE USER MAPPING」をご参照ください。

前提条件

• Hologres コンソールの [インスタンス一覧] または [インスタンスの詳細] ページで、対象インスタンスのデータレイクアクセラレーションを有効化します。具体的には、目的のインスタンスを見つけ、[操作] 列の [データレイクアクセラレーション] をクリックし、表示されるダイアログボックスで [確認] をクリックします。

• DLF を有効化しました。詳細については、「クイックスタート」をご参照ください。DLF が利用可能なリージョンについては、「利用可能なリージョンとエンドポイント」をご参照ください。

• DLF V1.0 を使用する場合、OSS の有効化および必要な権限付与も完了している必要があります。外部テーブルを介して OSS データにアクセスするには、アカウントが適切な OSS アクセス権限を保持している必要があります。そうでない場合、外部テーブルの作成は成功してもデータのクエリは実行できません。OSS の権限付与に関する詳細については、「バケットポリシー (Java SDK V1)」をご参照ください。

• （任意）OSS-HDFS 機能を利用する場合は、OSS-HDFS サービスを有効化する必要があります。詳細については、「OSS-HDFS サービスの有効化」をご参照ください。

制限事項

• このコマンドを実行するアカウントには、Superuser 権限が必要です。

• 内部データベースにログインしている状態では、完全なパス ext_db.ext_schema.ext_table を指定することで外部データベース内のテーブルにアクセスできます。ただし、外部データベースに接続している状態では、内部データベース内のテーブルにアクセスすることはできません。

• 外部データベースを介して外部データソースとのマッピングが確立されると、Hologres はデフォルトで 5 分間メタデータをキャッシュしてアクセスパフォーマンスを向上させます。キャッシュの有効期限 (TTL) はカスタマイズできません。

• 外部データソースが MaxCompute の場合、内部 MaxCompute プロジェクトのみがサポートされます。外部プロジェクトはサポートされていません。

構文

CREATE EXTERNAL DATABASE <ext_database_name> WITH 
  metastore_type 'maxcompute'
  mc_project 'project_name' 
  [comment 'xxx'];

CREATE EXTERNAL DATABASE <ext_database_name> WITH
  catalog_type 'paimon'
  metastore_type 'dlf-rest'
  dlf_catalog '<dlf_catalog_name>' 
  [comment 'xxx']; 

CREATE EXTERNAL DATABASE <ext_database_name> WITH
  metastore_type 'dlf'
  dlf_region ' ' 
  dlf_endpoint ' '
  dlf_catalog ' ' 
  oss_endpoint ''
  [comment 'xxx']; 

関連操作

SELECT database_name, options FROM hologres.hg_external_databases();

REFRESH CACHE FOR EXTERNAL DATABASE <EXT_DB_NAME> WITH( cache_level = 'metadata');

ALTER EXTERNAL DATABASE <EXT_DB_NAME> WITH metadata_refresh_interval_sec 1800;

使用例

-- 外部データベースを作成します。
CREATE EXTERNAL DATABASE ext_database_mc WITH 
  metastore_type 'maxcompute'
  mc_project 'mc_3_layer_project' 
  comment 'mc three layer project';
  
-- データをクエリします。
SELECT * FROM ext_database_mc.mc_schema.mc_table;

-- 外部データベースを作成します。
CREATE EXTERNAL DATABASE ext_database_dlf WITH
  metastore_type 'dlf-rest'
  catalog_type 'paimon'
  dlf_catalog 'dlf_paimon_catalog' 
  comment 'DLF paimon catalog'; 

-- データをクエリします。
SELECT * FROM ext_database_dlf.dlf_db.paimon_table;

-- 外部データベースを作成します。
CREATE EXTERNAL DATABASE ext_database_dlf1 WITH
  metastore_type 'dlf'
  dlf_region 'cn-beijing' 
  dlf_endpoint 'dlf-share.cn-beijing.aliyuncs.com'
  dlf_catalog 'hive_catalog' 
  oss_endpoint 'oss-cn-beijing-internal.aliyuncs.com'
  comment 'DLF1.0 hive catalog'; 

-- 現在のユーザー向けにユーザーマッピングを作成します。
CREATE USER MAPPING FOR current_user
EXTERNAL DATABASE ext_database_dlf1
OPTIONS
  (
      -- DLF V1.0 向け
      dlf_access_id 'LTxxxxxxxxxx',
      dlf_access_key 'y8xxxxxxxxxxxxx',
      oss_access_id 'LTxxxxxxxxxx',
      oss_access_key 'y8xxxxxxxxxxxxx'
  );

-- データをクエリします。
SELECT * FROM ext_database_dlf1.dlf_db.hive_table;