Hologres:CREATE EXTERNAL DATABASE

背景

CREATE EXTERNAL DATABASE 文は、Hologres インスタンスに外部データベースを作成するために使用されます。外部データベースを使用して、外部データソースのメタデータを Hologres にロードできます。これにより、Hologres で内部データと外部データを管理でき、レイクハウスアーキテクチャを使用して一元的なメタデータ管理を実装するのに役立ちます。

内部データとは、Hologres の標準ストレージタイプと低頻度アクセス（IA）ストレージタイプに格納されているデータを指します。外部データとは、MaxCompute および Data Lake Formation（DLF）データレイクに格納されているデータを指します。 Hologres は MaxCompute とシームレスに統合されています。 Hologres では、MaxCompute から直接データを読み書きして、高速データ交換を実装できます。また、DLF を使用して Object Storage Service（OSS）データレイクのデータを管理し、Hologres Query Engine（HQE）を使用して、Apache Paimon、Hudi、Delta Lake などのデータレイクのデータの パフォーマンス専有型 の読み取りと書き込みを実現することもできます。

外部データベースはグローバルに表示されます。Hologres のデータベースに接続した後、ext_db.ext_schema.ext_table 形式で外部テーブルを指定することで、外部データソースからデータを読み書きできます。外部データベースに接続して SQL 文を実行し、GUC パラメーターを設定することもできます。

外部データベースの権限は、MaxCompute や DLF などの外部データソースによって管理されます。Hologres は ID を外部データソースに渡すだけです。デフォルトでは、Hologres サービスリンクロールが ID パススルーに使用されます。外部データソースにアクセスする前に、Alibaba Cloud アカウントまたは必要な権限を持つ RAM ユーザーを使用して、サービスリンクロールに権限を付与する必要があります。詳細については、「Hologres のサービスリンクロール」をご参照ください。Hologres では、RAM ロールを使用して外部データソースにアクセスすることもできます。これにより、外部データソースにアクセスするためのポリシーをカスタマイズできます。詳細については、「RAM ロールの概要」をご参照ください。BASIC アカウントなど、Alibaba Cloud アカウントまたは RAM ユーザーではないアカウントを使用する場合は、CREATE USER MAPPING 文を実行してアカウントの関連付けと権限付与を実行できます。

前提条件

• Hologres インスタンスでデータレイクアクセラレーションが有効になっていること。データレイクアクセラレーションを有効にするには、Hologres コンソールにログインします。[インスタンス] ページで、Hologres インスタンスを見つけて、インスタンスデータレイク アクセラレーションアクションインスタンスの詳細 列の をクリックします。次に、表示されるメッセージの をクリックします。 Hologres インスタンスの ページでデータレイクアクセラレーションを有効にすることもできます。

• DLF がアクティブ化されていること。詳細については、「はじめに」をご参照ください。 DLF がサポートされているリージョンについては、「サポートされているリージョンとエンドポイント」をご参照ください。

• DLF 1.0 を使用する場合は、OSS がアクティブ化されており、OSS に必要な権限が付与されていることを確認してください。外部テーブルを使用して OSS のデータにアクセスする場合は、OSS へのアクセス権限が付与されている必要があります。そうでない場合、外部テーブルが作成されていても、OSS のデータにクエリを実行することはできません。 OSS に権限を付与する方法の詳細については、「バケットポリシー」をご参照ください。

• オプション。OSS-HDFS を使用する場合は、OSS-HDFS が有効になっていることを確認してください。詳細については、「OSS-HDFS を有効にし、アクセス権限を付与する」をご参照ください。

制限事項

• この文を実行するには、スーパーユーザー権限が付与されている必要があります。

• 内部データベースに接続した後、ext_db.ext_schema.ext_table 形式でテーブルを指定することで、外部データベースのテーブルにアクセスできます。ただし、外部データベースに接続した後は、内部データベースのテーブルにアクセスすることはできません。

• 外部データベースを作成して外部データソースのデータをマッピングした後、Hologres は外部データソースのメタデータを 5 分間キャッシュします。これはアクセス効率の向上に役立ちます。キャッシュの タイムアウト 期間は変更できません。

• 外部データソースが MaxCompute プロジェクトの場合、MaxCompute 内部プロジェクトのみがサポートされます。外部プロジェクトはサポートされていません。

構文の説明

CREATE EXTERNAL DATABASE <ext_database_name> WITH 
  metastore_type 'maxcompute'
  mc_project 'project_name' 
  [comment 'xxx'];

CREATE EXTERNAL DATABASE <ext_database_name> WITH
  
catalog_type 'paimon'
  
metastore_type 'dlf-rest'
  dlf_catalog '<dlf_catalog_name>' 
  [comment 'xxx']; 

CREATE EXTERNAL DATABASE <ext_database_name> WITH
  metastore_type 'dlf'
  dlf_region ' ' 
  dlf_endpoint ' '
  dlf_catalog ' ' 
  oss_endpoint ''
  [comment 'xxx']; 

関連操作

SELECT database_name, options FROM hologres.hg_external_databases();

REFRESH CACHE FOR EXTERNAL DATABASE <EXT_DB_NAME> WITH( cache_level = 'metadata');

ALTER EXTERNAL DATABASE <EXT_DB_NAME> WITH metadata_refresh_interval_sec 1800;

例

-- 外部データベースを作成します。
CREATE EXTERNAL DATABASE ext_database_mc WITH 
  metastore_type 'maxcompute'
  mc_project 'mc_3_layer_project' 
  comment 'mc 3 層プロジェクト';
  
-- データをクエリします。
SELECT * FROM ext_database_mc.mc_schema.mc_table;

-- 外部データベースを作成します。
CREATE EXTERNAL DATABASE ext_database_dlf WITH
  metastore_type 'dlf-rest'
  catalog_type 'paimon'
  

dlf_catalog 'dlf_paimon_catalog' 
  comment 'DLF paimon catalog'; 

-- データをクエリします。
SELECT * FROM ext_database_dlf.dlf_db.paimon_table;

-- 外部データベースを作成します。
CREATE EXTERNAL DATABASE ext_database_dlf1 WITH
  metastore_type 'dlf'
  dlf_region 'cn-beijing' 
  dlf_endpoint 'dlf-share.cn-beijing.aliyuncs.com'
  dlf_catalog 'hive_catalog' 
  oss_endpoint 'oss-cn-beijing-internal.aliyuncs.com'
  comment 'DLF 1.0 hive カタログ'; 

-- 現在のユーザーのユーザーマッピングを作成します。
CREATE USER MAPPING FOR current_user
EXTERNAL DATABASE ext_database_dlf1
OPTIONS
  (
      -- DLF 1.0 の場合
      dlf_access_id 'LTxxxxxxxxxx',
      dlf_access_key 'y8xxxxxxxxxxxxx',
      oss_access_id 'LTxxxxxxxxxx',
      oss_access_key 'y8xxxxxxxxxxxxx'
  );

-- データをクエリします。
SELECT * FROM ext_database_dlf1.dlf_db.hive_table;