Hologres:外部テーブルの自動読み込み（Auto Load）

自動読み込みの有効化

• 構文

  -- 自動読み込みを有効化
  ALTER DATABASE <database name> SET hg_experimental_enable_auto_load_foreign_table = on;

• パラメーターの説明

  database name：Hologres データベースの名前。

（任意）自動読み込みモードの設定

Hologres V2.2.1 以降では、ビジネス要件に応じて自動読み込みモードを設定できます。自動読み込みモードはデータベースレベルで有効にする必要があります。モードを設定しない場合、デフォルトでオンデマンド読み込みモードが使用されます。Hologres V2.2.1 より前のバージョンでは、この手順を実行する必要はありません。

• 構文

  ALTER DATABASE <データベース名> SET hg_experimental_load_foreign_table_mode = ['query' | 'period']

• パラメーター値の説明は以下のとおりです。

  • query（デフォルト）：外部テーブルのオンデマンド読み込み。

    -- 読み込みモードをオンデマンド読み込みに設定
    ALTER DATABASE <database name> SET hg_experimental_load_foreign_table_mode = 'query';

  • period：外部テーブルのフルロード。

    -- 読み込みモードをフルロードに設定
    ALTER DATABASE <database name> SET hg_experimental_load_foreign_table_mode = 'period';

マッピングを構成する

• 構文

  • MaxCompute マッピングの設定

    • Hologres V2.2.1 以降の場合

      -- MaxCompute の 3 レイヤーモデルプロジェクトの場合
      ALTER DATABASE <database> SET hg_experimental_auto_load_foreign_schema_mapping = '<hologres_schema>:<odps_foreign_server>.<mc_project>.<mc_schema>, [...]';
      -- MaxCompute の 2 レイヤーモデルプロジェクトの場合
      ALTER DATABASE <database> SET hg_experimental_auto_load_foreign_schema_mapping = '<hologres_schema>:<odps_foreign_server>.<mc_project>, [...]';

    • Hologres V2.2.1 より前のバージョンの場合

      ALTER DATABASE <データベース> SET hg_experimental_default_odps_project_list='<odps_project_name_1>,<odps_project_name_2>...';

  • DLF マッピングの設定

    -- DLF デフォルトカタログの場合
    ALTER DATABASE <database> SET hg_experimental_auto_load_foreign_schema_mapping = '<hologres_schema>:<dlf_foreign_server>.<dlf_database> [...]';
    -- カスタムカタログの場合
    ALTER DATABASE <database> SET hg_experimental_auto_load_foreign_schema_mapping = '<hologres_schema>:<dlf_foreign_server>.<dlf_catalog>.<dlf_database>, [...]';

• パラメータ

  パラメーター名	説明
  データベース	Hologres データベースの名前。
  hologres_schema	Hologres スキーマの名前。
  mc_project	自動読み込み対象の MaxCompute プロジェクトの名前。MaxCompute コンソール にログインし、ワークスペース > プロジェクト管理 ページに移動して、MaxCompute プロジェクト名を取得できます。
  odps_foreign_server	MaxCompute プロジェクトにアクセスするために使用するサーバー。これは固定で odps_server です。
  odps_project_name	MaxCompute プロジェクトの名前。複数のプロジェクトを指定できます。複数のプロジェクト名はカンマ（,）で区切ります。 デフォルト値は空で、これは任意の MaxCompute プロジェクトのテーブルメタデータが定期的に読み込まれないことを意味します。 説明 このパラメーターは、Hologres V2.2.1 より前のバージョンでのみ必要です。
  mc_schema	MaxCompute スキーマの名前。 説明 このパラメーターは、3 レイヤーモデルが有効になっているプロジェクトでのみ必要です。スキーマの詳細については、「スキーマ操作」をご参照ください。
  dlf_foreign_server	DLF_FDW に基づいて作成された外部サーバー。次のコマンドを実行して、外部サーバー名を取得できます。詳細については、「DLF を使用した OSS ベースのデータレイクのデータクエリの高速化」をご参照ください。 SELECT * FROM pg_foreign_server;
  dlf_catalog	自動読み込み対象の DLF データベースが存在するデータカタログの名前。Data Lake Formation コンソール にログインし、メタデータ > Metadata Management を選択し、Data Catalog タブからデータカタログ名を取得できます。
  dlf_database	自動読み込み対象の DLF データベースの名前。Data Lake Formation コンソール にログインし、メタデータ > Metadata Management を選択し、データベース タブからデータベース名を取得できます。

データをクエリする

対応する MaxCompute または DLF テーブルのデータを直接クエリできます。

-- MaxCompute プロジェクトのデータをクエリ
SELECT * FROM <hologres_schema>.<mc_table>;
-- DLF データをクエリ
SELECT * FROM <hologres_schema>.<dlf_table>;

自動読み込みの無効化

• 構文

  ---- 自動読み込みを無効化
  ALTER DATABASE <database name> SET hg_experimental_enable_auto_load_foreign_table = off;

  説明

  自動読み込みを無効化すると、システムは外部データソースからのメタデータの同期および新しい外部テーブルの作成を停止します。Hologres にすでに読み込まれている外部テーブルおよびデータのみを表示できます。さらに外部テーブルを追加するには、手動で IMPORT コマンドを実行する必要があります。詳細については、「IMPORT FOREIGN SCHEMA」をご参照ください。

• パラメーターの説明

  database name：Hologres データベースの名前。

自動読み込みが有効になっているデータソースの確認

-- V2.2 より前のバージョンでは、設定済みの MaxCompute データソースを表示
SHOW hg_experimental_default_odps_project_list;

-- V2.2 以降では、設定済みの MaxCompute および DLF データソースを表示
SHOW hg_experimental_auto_load_foreign_schema_mapping;

検査期間の設定

データソースをフルロード用に設定した後、次の時間パラメーターを使用して定期チェックを設定できます。データソースに新しいテーブルが追加された場合、指定されたチェック間隔後にクエリが実行されると、システムは自動的にそれらを Hologres 外部テーブルとして読み込みます。デフォルトの間隔は 30 分です。つまり、新しいテーブルが追加された後、30 分後にクエリが実行されると、そのテーブルは自動的に外部テーブルとして読み込まれます。

• 構文

  -- 指定された Hologres データベースのチェック間隔を 600 秒に設定
  ALTER DATABASE <database name> SET hg_experimental_load_all_foreign_table_interval_time = 600;

• パラメーターの説明

  database name：Hologres データベースの名前。

読み込まれた外部テーブルの削除

特定の外部テーブルのクエリ高速化が不要になった場合は、DROP 文を実行して削除できます。詳細については、「DROP FOREIGN TABLE」をご参照ください。

例 1：外部テーブルのオンデマンド読み込み

• 2 層モデル

  1. 自動読み込みを有効化します。

     ALTER DATABASE holo_demo SET hg_experimental_enable_auto_load_foreign_table = on;

  2. マッピングを設定します。

     --- V2.2.1 以降の場合
     ALTER DATABASE holo_demo SET hg_experimental_auto_load_foreign_schema_mapping = 'hologres_schema:odps_server.mc_project';
     --- V2.2.1 より前のバージョンの場合
     ALTER DATABASE holo_demo SET hg_experimental_default_odps_project_list='mc_project';

  3. 外部テーブルをクエリします。

     SELECT * FROM hologres_schema.mc_table;

• 3 層モデル

  1. 自動読み込みを有効化します。

     ALTER DATABASE holo_demo SET hg_experimental_enable_auto_load_foreign_table = on;

  2. マッピングを設定します。

     ALTER DATABASE holo_demo SET hg_experimental_auto_load_foreign_schema_mapping = 'holo_schema_3layer:odps_server.mc_3_layer_project.mc_schema';

  3. 外部テーブルをクエリします。

     SELECT * FROM holo_schema_3layer.mc_table;

例 2：外部テーブルのフル自動読み込み

この例では、DLF データソースを使用します。DLF デフォルトカタログまたはカスタムカタログにバインドすることで、DLF 外部テーブルを自動的に読み込むことができます。

• DLF デフォルトカタログ

  DLF デフォルトカタログ内の dlf_db データベースに対して自動読み込みを設定します。設定が完了すると、このデータベース内のすべてのテーブルが自動的に Hologres 外部テーブルとして作成されます。また、hg_experimental_load_all_foreign_table_interval_time で設定されたチェック間隔に基づいて、このデータベースから新しいテーブルが定期的に読み込まれます。

  1. 外部サービス dlf_server を作成し、エンドポイント情報を設定します。詳細については、「DLF を使用した OSS ベースのデータレイクのデータクエリの高速化」をご参照ください。

     -- サーバーを作成
     CREATE SERVER IF NOT EXISTS dlf_server FOREIGN data wrapper dlf_fdw options (
         dlf_endpoint 'dlf-share.cn-beijing.aliyuncs.com',
         oss_endpoint 'oss-cn-beijing-internal.aliyuncs.com'
     );

  2. ユーザーマッピングを作成します。

     Auto Load では、DLF および OSS にアクセスするための AccessKey ID および AccessKey Secret を指定するために、CREATE USER MAPPING コマンドを実行する必要があります。詳細については、「DLF を使用した OSS ベースのデータレイクのデータクエリの高速化」をご参照ください。

     CREATE USER MAPPING FOR <account_uid> server <server_name> options
     (
         dlf_access_id 'accessid', 
         dlf_access_key 'accesskey',
         oss_access_id 'accessid', 
         oss_access_key 'accesskey'
     );

  3. 自動読み込みを有効化します。

     ALTER DATABASE holo_demo SET hg_experimental_enable_auto_load_foreign_table = on;

  4. マッピングおよび読み込みモードを設定します。

     SET hg_experimental_auto_load_foreign_schema_mapping = 'holo_schema:dlf_server.dlf_db';
     SET hg_experimental_load_foreign_table_mode = 'period'; 
     SET hg_experimental_load_all_foreign_table_interval_time = 10;

  5. 外部テーブルのデータをクエリします。

     SELECT * FROM holo_schema.dlf_table;

• DLF カスタムカタログ

  1. 外部サーバーを作成し、エンドポイント情報を設定します。詳細については、「DLF を使用した OSS ベースのデータレイクのデータクエリの高速化」をご参照ください。

     CREATE SERVER IF NOT EXISTS DLF_server FOREIGN data wrapper dlf_fdw options (
         dlf_endpoint 'dlf-share.cn-beijing.aliyuncs.com',
         oss_endpoint 'oss-cn-beijing-internal.aliyuncs.com'
     );

  2. ユーザーマッピングを作成します。

     Auto Load では、DLF および OSS にアクセスするための AccessKey ID および AccessKey Secret を指定するために、CREATE USER MAPPING コマンドを実行する必要があります。詳細については、「DLF を使用した OSS ベースのデータレイクのデータクエリの高速化」をご参照ください。

     CREATE USER mapping FOR <account_uid> server <server_name> options
     (
         dlf_access_id 'accessid', 
         dlf_access_key 'accesskey',
         oss_access_id 'accessid', 
         oss_access_key 'accesskey'
     );

  3. 自動読み込みを有効化します。

     ALTER DATABASE holo_demo SET hg_experimental_enable_auto_load_foreign_table = on;

  4. マッピング、読み込みモード、チェック間隔を設定します。

     -- マッピングを設定
     SET hg_experimental_auto_load_foreign_schema_mapping = 'holo_schema:DLF_server.dlf_catalog.dlf_db';
     -- 読み込みモードを外部テーブルのフルロードに設定
     SET hg_experimental_load_foreign_table_mode = 'period'; 
     -- チェック間隔を 600 秒に設定
     SET hg_experimental_load_all_foreign_table_interval_time = 600;

  5. 外部テーブルのデータをクエリします。

     SELECT * FROM holo_schema.dlf_table;