Hologres:自動ロード

自動ロードを有効にする

• 構文

  -- 自動ロード機能を有効にします。
  ALTER DATABASE <データベース名> SET hg_experimental_enable_auto_load_foreign_table = on;

• パラメータ

  データベース名: Hologres データベースの名前。

(オプション) 自動ロードモードを構成する

Hologres V2.2.1 以降では、ビジネス要件に基づいて自動ロードモードを構成できます。自動ロードモードは、データベースレベルでのみ構成できます。モードを指定しない場合は、オンデマンドロードモードが使用されます。Hologres V2.2.1 より前のバージョンでは、モードを指定する必要はありません。

• 構文

  ALTER DATABASE <データベース名> SET hg_experimental_load_foreign_table_mode = ['query' | 'period']

• 有効な値

  • query: オンデマンドロードモードが使用されます。これはデフォルト値です。

    -- オンデマンドロードモードを指定します。
    ALTER DATABASE <データベース名> SET hg_experimental_load_foreign_table_mode = 'query';

  • period: フルロードモードが使用されます。

    -- フルロードモードを指定します。
    ALTER DATABASE <データベース名> SET hg_experimental_load_foreign_table_mode = 'period';

マッピングを構成する

• 構文

  • MaxCompute と Hologres 間のマッピングを構成する

    • Hologres V2.2.1 以降

      -- 3 層モデルを使用する MaxCompute プロジェクトの構文
      ALTER DATABASE <データベース> SET hg_experimental_auto_load_foreign_schema_mapping = '<hologres_schema>:<odps_foreign_server>.<mc_project>.<mc_schema>, [...]';
      -- 2 層モデルを使用する MaxCompute プロジェクトの構文
      ALTER DATABASE <データベース> SET hg_experimental_auto_load_foreign_schema_mapping = '<hologres_schema>:<odps_foreign_server>.<mc_project>, [...]';

    • Hologres V2.2.1 より前のバージョン

      ALTER DATABASE <データベース> SET hg_experimental_default_odps_project_list='<odps_project_name_1>,<odps_project_name_2>...';

  • DLF と Hologres 間のマッピングを構成する

    --DLF デフォルトカタログ
    ALTER DATABASE <データベース> SET hg_experimental_auto_load_foreign_schema_mapping = '<hologres_schema>:<dlf_foreign_server>.<dlf_database> [...]';
    -- DLF カスタムカタログの構文
    ALTER DATABASE <データベース> SET hg_experimental_auto_load_foreign_schema_mapping = '<hologres_schema>:<dlf_foreign_server>.<dlf_catalog>.<dlf_database>, [...]';

• パラメータ

  パラメータ	説明
  データベース	Hologres データベースの名前。
  hologres_schema	Hologres データベースのスキーマの名前。
  mc_project	自動ロード機能を有効にする MaxCompute プロジェクトの名前。MaxCompute コンソール にログインし、左側のナビゲーションウィンドウで [ワークスペース] > [プロジェクト] を選択して、MaxCompute プロジェクトの名前を取得できます。
  odps_foreign_server	MaxCompute プロジェクトにアクセスするために使用されるサーバー。値は odps_server に固定されています。
  odps_project_name	外部テーブルを定期的に作成する MaxCompute プロジェクトの名前。複数のプロジェクトを指定できます。複数のプロジェクト名はカンマ (,) で区切ります。 デフォルトでは、このパラメータは空のままです。これは、MaxCompute プロジェクトに対して外部テーブルが定期的に作成されないことを示します。 説明 このパラメータは、Hologres V2.2.1 より前のバージョンでのみ有効です。
  mc_schema	MaxCompute データベースのスキーマの名前。 説明 このパラメータは、3 層モデルを使用するプロジェクトにのみ必要です。スキーマの詳細については、「スキーマ関連の操作」をご参照ください。
  dlf_foreign_server	DLF_FDW に基づいて作成された外部サーバー。次の文を実行して、外部サーバーの名前を取得できます。詳細については、「DLF を使用して OSS からデータを読み書きする」をご参照ください。 SELECT * FROM pg_foreign_server;
  dlf_catalog	DLF データベースが存在するカタログの名前。カタログ名を取得するには、DLF コンソール にログインし、左側のナビゲーションウィンドウで [メタデータ] > [メタデータ] を選択し、[カタログリスト] タブをクリックします。
  dlf_database	自動ロード機能を有効にする DLF データベースの名前。データベース名を取得するには、DLF コンソール にログインし、左側のナビゲーションウィンドウで [メタデータ] > [メタデータ] を選択し、[データベース] タブをクリックします。

データをクエリする

外部テーブルを使用して、MaxCompute および DLF からデータをクエリできます。

-- MaxCompute からデータをクエリします。
SELECT * FROM <hologres_schema>.<mc_table>;
-- DLF からデータをクエリします。
SELECT * FROM <hologres_schema>.<dlf_table>;

自動ロードを無効にする

• 構文

  ---- 自動ロード機能を無効にします。
  ALTER DATABASE <データベース名> SET hg_experimental_enable_auto_load_foreign_table = off;

  説明

  自動ロード機能を無効にすると、システムはデータソースからメタデータを同期して外部テーブルを作成しなくなります。既存の外部テーブルとメタデータは、Hologres でのみ表示できます。この場合に外部テーブルを作成するには、IMPORT FOREIGN SCHEMA 文を手動で実行する必要があります。詳細については、「IMPORT FOREIGN SCHEMA」をご参照ください。

• パラメータ

  データベース名: Hologres データベースの名前。

自動ロード機能が有効になっているデータソースを表示する

-- Hologres V2.2 より前のバージョンで自動ロード機能が有効になっている MaxCompute データソースを表示します。
SHOW hg_experimental_default_odps_project_list;

-- Hologres V2.2 以降で自動ロード機能が有効になっている MaxCompute および DLF データソースを表示します。
SHOW hg_experimental_auto_load_foreign_schema_mapping;

定期検査の間隔を構成する

データソースに対してフルロードモードを構成すると、システムは指定された間隔で新しいテーブルを検査します。新しいテーブルが作成されると、クエリを開始したときに、システムは新しいテーブルに対して外部テーブルを自動的に作成します。デフォルトの間隔は 30 分です。クエリを開始する前の 30 分間に新しいテーブルが作成されると、システムは新しいテーブルに対して外部テーブルを自動的に作成します。

• 構文

  -- Hologres データベースの検査間隔を 600 秒に設定します。
  ALTER DATABASE <データベース名> SET hg_experimental_load_all_foreign_table_interval_time = 600;

• パラメータ

  データベース名: Hologres データベースの名前。

外部テーブルを削除する

外部テーブルが不要になった場合は、DROP 文を実行して外部テーブルを削除できます。詳細については、「DROP FOREIGN TABLE」をご参照ください。

例 1: オンデマンドロードモードを使用する

• 2 層モデル

  1. 自動ロード機能を有効にします。

     ALTER DATABASE holo_demo SET hg_experimental_enable_auto_load_foreign_table = on;

  2. マッピングを構成します。

     --- Hologres V2.2.1 以降の場合
     ALTER DATABASE holo_demo SET hg_experimental_auto_load_foreign_schema_mapping = 'hologres_schema:odps_server.mc_project';
     --- Hologres V2.2.1 より前のバージョンの場合
     ALTER DATABASE holo_demo SET hg_experimental_default_odps_project_list='mc_project';

  3. 外部テーブルを使用してデータをクエリします。

     SELECT * FROM hologres_schema.mc_table;

• 3 層モデル

  1. 自動ロード機能を有効にします。

     ALTER DATABASE holo_demo SET hg_experimental_enable_auto_load_foreign_table = on;

  2. マッピングを構成します。

     ALTER DATABASE holo_demo SET hg_experimental_auto_load_foreign_schema_mapping = 'holo_schema_3layer:odps_server.mc_3_layer_project.mc_schema';

  3. 外部テーブルを使用してデータをクエリします。

     SELECT * FROM holo_schema_3layer.mc_table;

例 2: フルロードモードを使用する

この例では、DLF データソースが使用されます。DLF デフォルトカタログまたはカスタムカタログのテーブルに対して自動ロード機能を有効にできます。

• DLF デフォルトカタログ

  このセクションでは、DLF デフォルトカタログの dlf_db データベースに対してフルロードモードを使用する方法について説明します。システムは、データベース内のすべてのテーブルに対して Hologres に外部テーブルを自動的に作成します。また、システムは hg_experimental_load_all_foreign_table_interval_time パラメータで指定された間隔でデータベース内の新しいテーブルを定期的に検査し、データベース内の新しいテーブルに対して外部テーブルを自動的に作成します。

  1. dlf_server という名前の外部サーバーを作成し、エンドポイントを構成します。詳細については、「DLF を使用して OSS からデータを読み書きする」をご参照ください。

     -- 外部サーバーを作成します。
     CREATE SERVER IF NOT EXISTS dlf_server FOREIGN data wrapper dlf_fdw options (
         dlf_endpoint 'dlf-share.cn-beijing.aliyuncs.com',
         oss_endpoint 'oss-cn-beijing-internal.aliyuncs.com'
     );

  2. ユーザーマッピングを構成します。

     自動ロード機能を使用するには、CREATE USER MAPPING 文を実行して、DLF および OSS にアクセスするために使用する AccessKey ID と AccessKey シークレットを指定する必要があります。詳細については、「DLF を使用して OSS からデータを読み書きする」をご参照ください。

     CREATE USER MAPPING FOR <ユーザー ID> server <サーバー名> options
     (
         dlf_access_id 'accessid', 
         dlf_access_key 'accesskey',
         oss_access_id 'accessid', 
         oss_access_key 'accesskey'
     );

  3. 自動ロード機能を有効にします。

     ALTER DATABASE holo_demo SET hg_experimental_enable_auto_load_foreign_table = on;

  4. マッピングと自動ロードモードを構成します。

     SET hg_experimental_auto_load_foreign_schema_mapping = 'holo_schema:dlf_server.dlf_db';
     SET hg_experimental_load_foreign_table_mode = 'period'; 
     SET hg_experimental_load_all_foreign_table_interval_time = 10;

  5. 外部テーブルを使用してデータをクエリします。

     SELECT * FROM holo_schema.dlf_table;

• DLF カスタムカタログ

  1. 外部サーバーを作成し、エンドポイントを構成します。詳細については、「DLF を使用して OSS からデータを読み書きする」をご参照ください。

     CREATE SERVER IF NOT EXISTS DLF_server FOREIGN data wrapper dlf_fdw options (
         dlf_endpoint 'dlf-share.cn-beijing.aliyuncs.com',
         oss_endpoint 'oss-cn-beijing-internal.aliyuncs.com'
     );

  2. ユーザーマッピングを構成します。

     自動ロード機能を使用するには、CREATE USER MAPPING 文を実行して、DLF および OSS にアクセスするために使用する AccessKey ID と AccessKey シークレットを指定する必要があります。詳細については、「DLF を使用して OSS からデータを読み書きする」をご参照ください。

     CREATE USER mapping FOR <ユーザー ID> server <サーバー名> options
     (
         dlf_access_id 'accessid', 
         dlf_access_key'accesskey',
         oss_access_id 'accessid', 
         oss_access_key 'accesskey'
     );

  3. 自動ロード機能を有効にします。

     ALTER DATABASE holo_demo SET hg_experimental_enable_auto_load_foreign_table = on;

  4. マッピング、自動ロードモード、および検査間隔を構成します。

     -- マッピングを構成します。
     SET hg_experimental_auto_load_foreign_schema_mapping = 'holo_schema:DLF_server.dlf_catalog.dlf_db';
     -- フルロードモードを構成します。
     SET hg_experimental_load_foreign_table_mode = 'period'; 
     -- 検査間隔を 600 秒に設定します。
     SET hg_experimental_load_all_foreign_table_interval_time = 600;

  5. 外部テーブルを使用してデータをクエリします。

     SELECT * FROM holo_schema.dlf_table;