Hologres:Hive メタストアを使用した OSS データへのアクセス

方法1：外部データベースの使用 (推奨)

1. Hologres インスタンスに接続し、外部データベースを作成します。この手順にはスーパーユーザー権限が必要です。

   完全な構文については、「CREATE EXTERNAL DATABASE」をご参照ください。

   CREATE EXTERNAL DATABASE <EXTERNAL_DATABASE_NAME>
     owner '<ACCOUNT_NAME>'
     metastore_type 'hms'
     catalog_type 'hive'
     hive_metastore_uris 'thrift://<HIVE_METASTORE_IP>:<PORT>'
     metadata_cache_ttl_sec '600'
     metadata_cache_update_interval_sec '60'
     metadata_refresh_interval_sec '7200'
     oss_endpoint 'oss-<REGION_ID>-internal.aliyuncs.com'
     table_count_limitation_per_schema '2000'
     comment '<EXTERNAL_DATABASE_COMMENT>';

   パラメーター	説明	例
   external_database_name	外部データベースの名前。	catalog_hive
   owner	外部データベースを所有する Hologres アカウント。	p4_<ACCOUNT_ID>
   metastore_type	メタデータサービスのタイプ。Hive メタストアの場合は hms に設定します。	hms
   catalog_type	カタログのタイプ。Hive カタログの場合は hive に設定します。	hive
   hive_metastore_uris	Hive メタストアの URI。形式：thrift://<HIVE_METASTORE_IP>:<PORT>。デフォルトのポートは 9083 です。	thrift://10.0.0.1:9083
   metadata_cache_ttl_sec	オプション。キャッシュされたメタデータが有効である期間 (秒単位)。	600 (デフォルト)
   metadata_cache_update_interval_sec	オプション。メタデータキャッシュの更新間隔 (秒単位)。	60 (デフォルト)
   metadata_refresh_interval_sec	オプション。完全なメタデータリフレッシュの間隔 (秒単位)。	7200 (デフォルト)
   oss_endpoint	OSS エンドポイント。ネイティブ OSS の場合は、パフォーマンスを向上させるために内部エンドポイントを使用します。	oss-cn-beijing-internal.aliyuncs.com
   table_count_limitation_per_schema	オプション。スキーマごとにロードされるテーブルの最大数。	2000 (デフォルト)
   comment	オプション。外部データベースの説明。	holo-emr-hive

   上記のキャッシュ間隔とテーブル制限はサンプル値です。メタデータの更新頻度と HMS 内のテーブル数に合わせて調整してください。

2. (オプション) ユーザーマッピングの作成。

   ユーザーマッピングは、特定の Hologres アカウントが OSS から読み取るために使用する認証情報を提供します。詳細については、「CREATE USER MAPPING」をご参照ください。

   CREATE USER MAPPING FOR <ACCOUNT_NAME>
   EXTERNAL DATABASE <EXTERNAL_DATABASE_NAME>
   OPTIONS (
     oss_access_id  '<ACCESS_KEY_ID>',
     oss_access_key '<ACCESS_KEY_SECRET>'
   );

3. 外部テーブルのクエリ。

   外部データベースが存在すると、外部データベース、Hive データベース、Hive テーブルの 3 部構成の名前で任意のテーブルを参照できます。

   非パーティション化テーブル：

   SELECT *
   FROM <EXTERNAL_DATABASE_NAME>.<HIVE_DATABASE_NAME>.<HIVE_TABLE_NAME>;

   パーティションテーブル：WHERE 句でパーティションキーをフィルタリングします。

   SELECT *
   FROM <EXTERNAL_DATABASE_NAME>.<HIVE_DATABASE_NAME>.<HIVE_PARTITION_TABLE_NAME>
   WHERE <PARTITION_KEY> = '<PARTITION_VALUE>';

方法2：hive_fdw の使用

CREATE EXTENSION IF NOT EXISTS hive_fdw;

CREATE SERVER IF NOT EXISTS <SERVER_NAME> FOREIGN DATA WRAPPER hive_fdw
OPTIONS (
  hive_metastore_uris 'thrift://<HIVE_METASTORE_IP>:<PORT>',
  oss_endpoint '<OSS_ENDPOINT>'
);

-- 現在のユーザーに外部サーバーへのアクセスを許可
CREATE USER MAPPING FOR current_user SERVER <SERVER_NAME> OPTIONS (
  -- データソースが Data Lake Formation (DLF) の場合は、その認証情報を指定します。
  dlf_access_id  '<ACCESS_KEY_ID>',
  dlf_access_key '<ACCESS_KEY_SECRET>',
  -- データソースが Object Storage Service (OSS) の場合は、その認証情報を指定します。
  oss_access_id  '<ACCESS_KEY_ID>',
  oss_access_key '<ACCESS_KEY_SECRET>'
);

-- RAM ユーザー (123xxx) に外部サーバーへのアクセスを許可
CREATE USER MAPPING FOR "p4_123xxx" SERVER <SERVER_NAME> OPTIONS (
  -- データソースが Data Lake Formation (DLF) の場合は、その認証情報を指定します。
  dlf_access_id  '<ACCESS_KEY_ID>',
  dlf_access_key '<ACCESS_KEY_SECRET>',
  -- データソースが Object Storage Service (OSS) の場合は、その認証情報を指定します。
  oss_access_id  '<ACCESS_KEY_ID>',
  oss_access_key '<ACCESS_KEY_SECRET>'
);

-- ユーザーマッピングの削除
DROP USER MAPPING FOR CURRENT_USER SERVER <SERVER_NAME>;
DROP USER MAPPING FOR "p4_123xxx" SERVER <SERVER_NAME>;

-- 単一の外部テーブルを作成
CREATE FOREIGN TABLE <HOLO_SCHEMA_NAME>.<TABLE_NAME>
(
  column_name data_type
  [, ...]
)
SERVER <SERVER_NAME>
OPTIONS (
  schema_name '<HIVE_DATABASE_NAME>',
  table_name  '<HIVE_TABLE_NAME>'
);

-- 複数の外部テーブルを一括でインポート
IMPORT FOREIGN SCHEMA <HIVE_DATABASE_NAME>
[
  { LIMIT TO | EXCEPT }
  ( table_name [, ...] )
]
FROM SERVER <SERVER_NAME>
INTO <HOLO_SCHEMA_NAME>
OPTIONS (
  if_table_exist        'update',
  if_unsupported_type   'error'
);

SELECT * FROM <HOLO_SCHEMA_NAME>.<TABLE_NAME>;

SELECT * FROM <HOLO_SCHEMA_NAME>.<PARTITION_TABLE_NAME>
WHERE <PARTITION_KEY> = '<PARTITION_VALUE>';