Hologres:サーバーレスコンピューティングによる読み取り/書き込みタスクの実行

サポートされる機能

サーバーレスコンピューティングは、以下のタイプのタスクをサポートしています。

• V2.1.17 以降：INSERT (INSERT OVERWRITE を除く)、INSERT ON CONFLICT (UPSERT)、DELETE、UPDATE を含む、主要なデータ操作言語 (DML) タスク。

• V2.2.14 以降：データクエリ言語 (DQL) タスク。

• V3.0.1 以降：DML の COPY タスク。

• V3.0.9 以降：DML の CREATE TABLE AS (CTAS) タスク。

• V2.2.42/V3.0.19 以降：RESHARDING タスク。

• Hologres V3.0.26 以降のバージョンでは、`hg_insert_overwrite` ストアドプロシージャを介した DML の INSERT OVERWRITE タスク、およびストアドプロシージャ内の DML と DQL をサポートしています。

• V3.1.0 以降：DML のネイティブ INSERT OVERWRITE 構文、および REBUILD タスク。

• V3.1.3 以降：暗号化された Hologres 内部テーブルや暗号化された MaxCompute 外部テーブルなど、暗号化されたテーブルへの読み取りと書き込み。暗号化された内部テーブルへの読み取りまたは書き込みを行うには、GUC パラメーター hg_serverless_computing_enable_encrypted_table を有効にする必要があります。詳細については、「データ暗号化」をご参照ください。

• V3.1.11 以降：コンパクションタスク。詳細については、「サーバーレスコンピューティングを使用したコンパクションタスクの実行」をご参照ください。

• V4.0 以降：Data Lake Formation (DLF) 外部テーブルからの読み取りと書き込み。ファイル形式やその他の考慮事項については、「DLF に基づく OSS データレイクへのアクセスの高速化」をご参照ください。

• V4.1 以降：データマスキング。詳細については、「データマスキング」をご参照ください。

サーバーレスコンピューティングは、以下の関数拡張をサポートしています。

• ClickHouse

• フロー分析

• PostGIS

• RoaringBitmap

• BSI

• Proxima

サーバーレスコンピューティングは、以下のシナリオではサポートされていません。

• 読み取り専用セカンダリインスタンスでのクエリ。サーバーレスコンピューティングは、プライマリインスタンスおよび仮想ウェアハウスインスタンスでは期待どおりに動作します。

• set hg_experimental_enable_transaction = on の実行など、複数行 DML トランザクションが有効になっているクエリ。

• 固定プランを使用する SQL ステートメント。

• データベース間のクエリと書き込み。

サーバーレスリソースへの SQL のルーティング

Hologres では、サーバーレスリソースを柔軟に利用できます。個々の SQL ステートメントをオンデマンドでルーティングしたり、ルールを設定して SQL バッチを実行したりできます。

Hologres は、以下の優先順位でルーティングルールを評価します。最初に一致したルールが適用されます。

1. セッションレベル：パラメーター hg_computing_resource を 'serverless' に設定します。現在の接続における読み取り/書き込みリクエストは、サーバーレスリソースを使用します。

2. ユーザーレベル：特定のユーザーに対してパラメーター hg_computing_resource を 'serverless' に設定し、そのユーザーのタスクがサーバーレスリソースで実行されるようにします。

3. クエリキューレベル：クエリキュー内のすべてのタスクがサーバーレスリソースで実行されるように構成します。

4. 適応型サーバーレスコンピューティング：この機能を有効にすると、システムが大規模タスクを自動的に識別し、サーバーレスリソースで実行します。

5. 上記のいずれの条件にも一致しない場合、タスクは現在のインスタンスのリソースで実行されます。

また、大規模クエリがサーバーレスリソースで自動的にリトライされるように構成することもできます。これにより、本番サービスの負荷が軽減され、メモリ不足 (OOM) エラーの頻度が最小限に抑えられ、システムの安定性が向上します。

-- サーバーレスコンピューティングリソースを使用して SQL を実行します。デフォルト値は local で、インスタンス自身のリソースが使用されることを意味します。
SET hg_computing_resource = 'serverless';

-- DML ステートメントを送信した後、構成をリセットして、後続の SQL ステートメントがサーバーレスリソースを使用しないようにします。
RESET hg_computing_resource;

-- データの準備
    -- ソーステーブルの作成
CREATE TABLE source_tbl ( id int );
    -- 宛先テーブルの作成
CREATE TABLE sink_tbl ( id int );
    -- ソーステーブルへのサンプルデータの書き込み
INSERT INTO source_tbl
SELECT * FROM generate_series(1, 99999999);

-- サーバーレスコンピューティングリソースを使用して SQL ステートメントを実行
    -- セッションレベルで機能を有効化
SET hg_computing_resource = 'serverless';
    -- SQL ステートメントの実行
INSERT INTO sink_tbl SELECT * FROM source_tbl;
    -- 構成のリセット
RESET hg_computing_resource;

-- 特定のデータベース内で、ユーザーがデフォルトでサーバーレスリソース上で SQL ステートメントを実行するように構成します。
ALTER USER "<role_name>" IN DATABASE <db_name> SET hg_computing_resource = 'serverless';

-- 構成を元に戻します。
ALTER USER "<role_name>" IN DATABASE <db_name> RESET hg_computing_resource;

サーバーレスコンピューティングタスクの優先順位付け

Hologres では、サーバーレスコンピューティングにルーティングされる SQL ステートメントの優先度を設定できます。各 SQL ステートメントにリソース上限を設定し、優先度ベースのキューイングメカニズムを使用することで、サーバーレスコンピューティングに入るタスクが安定的かつ秩序正しく実行されることを保証します。

• 以下のステートメントを実行して、サーバーレスリソースでの SQL ステートメントの実行優先度を設定できます。

  優先度は 1 から 5 の範囲で、デフォルト値は 3 です。値が大きいほど優先度が高くなり、要求されるリソース量に関係なく、優先度に基づいてリソースが優先的に割り当てられます。

  -- セッションレベルの構成
  SET hg_experimental_serverless_computing_query_priority = 5;
  -- 構成のリセット
  RESET hg_experimental_serverless_computing_query_priority;
  
  -- ユーザーレベルの構成
  ALTER USER "<role_name>" IN DATABASE <db_name> SET hg_experimental_serverless_computing_query_priority = 5;
  -- 構成のリセット
  ALTER USER "<role_name>" IN DATABASE <db_name> RESET hg_experimental_serverless_computing_query_priority;

• 例

  -- サーバーレスコンピューティングリソースを使用して SQL ステートメントを実行します。
  SET hg_computing_resource = 'serverless';
  
  -- SQL ステートメントの優先度を 5 に設定します。
  SET hg_experimental_serverless_computing_query_priority to 5;
  
  -- SQL ステートメントを実行します。
  INSERT INTO sink_tbl SELECT * FROM source_tbl;
   
  -- 構成をリセットします。
  RESET hg_computing_resource;
  RESET hg_experimental_serverless_computing_query_priority;

サーバーレスコンピューティングの検証

クエリプランを表示するには、以下のステートメントを実行します。

-- サーバーレスコンピューティングリソースを使用して SQL ステートメントを実行します。
SET hg_computing_resource = 'serverless';

-- クエリプランを表示します。
EXPLAIN INSERT INTO sink_tbl SELECT * FROM source_tbl;

-- 構成をリセットします。
RESET hg_computing_resource;

このコマンドは以下の結果を返します。出力に Computing Resource: Serverless が含まれている場合、ステートメントはサーバーレスリソースを使用して実行されます。

                                        QUERY PLAN                                        
------------------------------------------------------------------------------------------
 Gather  (cost=0.00..5.18 rows=100 width=4)
   ->  Insert  (cost=0.00..5.18 rows=100 width=4)
         ->  Redistribution  (cost=0.00..5.10 rows=100 width=4)
               ->  Local Gather  (cost=0.00..5.10 rows=100 width=4)
                     ->  Decode  (cost=0.00..5.10 rows=100 width=4)
                           ->  Seq Scan on source_tbl  (cost=0.00..5.00 rows=100 width=4)
 Computing Resource: Serverless
 Optimizer: HQO version 2.1.0
(8 rows)

サーバーレスリソースで実行中および履歴タスクを表示するには、「サーバーレスコンピューティングの監視と管理」をご参照ください。