Hologres:サーバーレスコンピューティングを使用したデータの読み取りと書き込み

サポートされている機能

サーバーレスコンピューティングは、次のタスクタイプをサポートしています:

• V2.1.17 以降: データ操作言語 (DML) タスク。これには INSERT (INSERT OVERWRITE を除く)、INSERT ON CONFLICT (UPSERT)、DELETE、および UPDATE が含まれます。

• V2.2.14 以降: データクエリ言語 (DQL) タスク。

• V3.0.1 以降: DML の COPY タスク。

• V3.0.9 以降: CREATE TABLE AS (CTAS) タスク。

• V2.2.42/V3.0.19 以降: RESHARDING タスク。

• V3.0.26 以降: INSERT OVERWRITE タスク (hg_insert_overwrite ストアドプロシージャ経由)、およびストアドプロシージャ内の DML と DQL。

• V3.1.0 以降: DML のネイティブ INSERT OVERWRITE 構文、および REBUILD タスク。

• V3.1.3 以降: 暗号化されたテーブルでの読み取りおよび書き込み操作。暗号化された内部テーブルおよび暗号化された MaxCompute 外部/外部テーブルを含みます。この機能を使用するには、hg_serverless_computing_enable_encrypted_table GUC パラメーターを有効にします。詳細については、「データ暗号化」をご参照ください。

• V3.1.11 以降: Compaction タスク。詳細については、「サーバーレスコンピューティングを使用して Compaction タスクを実行する」をご参照ください。

• 4.0 以降: Data Lake Formation (DLF) 外部テーブルに対する読み取りおよび書き込み操作。詳細については、「DLF を使用して OSS からデータを読み取り、OSS にデータを書き込む」をご参照ください。

サーバーレスコンピューティングは、次の関数拡張をサポートしています:

• ClickHouse

• フロー分析

• PostGIS

• RoaringBitmap

• BSI

• Proxima

サーバーレスコンピューティングは、次のシナリオではサポートされていません:

• 読み取り専用セカンダリインスタンスでのクエリ。プライマリインスタンスと仮想ウェアハウスインスタンスは影響を受けません。

• set hg_experimental_enable_transaction = on のように、複数行 DML トランザクションが有効になっているクエリ。

• 固定計画を使用する SQL 文。

• クロスデータベースのクエリまたは書き込み。

サーバーレスコンピューティングリソースを使用して読み取りおよび書き込みタスクを実行する

Hologres では、サーバーレスコンピューティングリソースを柔軟に使用できます。個々の SQL 文をオンデマンドでサーバーレスリソース上で実行したり、ルールを設定して SQL 文をバッチでサーバーレスリソース上で実行したりできます。

実行前に SQL 文をサーバーレスリソースにディスパッチするには、優先度の高い順に次のメソッドを使用します:

1. SQL レベル (セッションレベル): hg_computing_resource パラメーターを 'serverless' に設定します。現在の接続での読み取りおよび書き込みリクエストは、サーバーレスリソースを使用します。

2. ユーザーレベル: 特定のユーザーに対して hg_computing_resource パラメーターを 'serverless' に設定します。このユーザーからのすべてのクエリは、サーバーレスリソースを使用します。

3. クエリキューレベル: クエリキュー内のすべてのタスクがサーバーレスリソースを使用するように構成します。

4. アダプティブサーバーレスコンピューティング: 有効にすると、システムは大規模なタスクを自動的に識別し、サーバーレスリソースを使用して実行します。

5. これらの条件のいずれも満たされない場合、クエリは現在のインスタンスの専用リソースを使用します。

また、すでに進行中の大規模なクエリをサーバーレスリソースで自動的に再実行するように構成することもできます。これにより、本番サービスへの負荷が軽減され、メモリ不足 (OOM) エラーの頻度が低下し、システムの安定性が向上します。

-- サーバーレスコンピューティングリソースを使用して SQL 文を実行します。パラメーターのデフォルト値は local で、現在のインスタンスの専用リソースが SQL 文の実行に使用されることを示します。
SET hg_computing_resource = 'serverless';

-- DML 文を送信した後、構成をリセットして、不要な SQL 文がサーバーレスリソースを使用しないようにします。
RESET hg_computing_resource;

-- データを準備します --
    -- ソーステーブルを作成します。
CREATE TABLE source_tbl ( id int );
    -- 宛先テーブルを作成します。
CREATE TABLE sink_tbl ( id int );
    -- ソーステーブルにサンプルデータを書き込みます。
INSERT INTO source_tbl
SELECT * FROM generate_series(1, 99999999);

-- サーバーレスリソースを使用して SQL 文を実行します --
    -- セッションレベルでサーバーレスコンピューティングを有効にします。
SET hg_computing_resource = 'serverless';
    -- SQL 文を実行します。
INSERT INTO sink_tbl SELECT * FROM source_tbl;
    -- 構成をリセットします。
RESET hg_computing_resource;

-- 特定のデータベースに対して、ユーザーがデフォルトでサーバーレスコンピューティングリソースを使用するように構成します
ALTER USER "<role_name>" IN DATABASE <db_name> SET hg_computing_resource = 'serverless';

-- 構成をリセットします
ALTER USER "<role_name>" IN DATABASE <db_name> RESET hg_computing_resource;

サーバーレスコンピューティングタスクの優先度の設定

Hologres では、サーバーレスコンピューティングキューに入る SQL 文の優先度を設定できます。単一の SQL 文が使用できるサーバーレスリソースの最大量を定義し、優先度ベースのキューイングメカニズムを実装することで、サーバーレスコンピューティングキュー内の SQL 文が安定して順序どおりに実行されるようにすることができます。

• 次のコードを使用して、サーバーレスリソースのキューに入っている SQL 文の実行優先度を設定します。

  優先度は 1 から 5 の範囲で、デフォルト値は 3 です。値が大きいほど優先度が高くなり、要求された量に関係なく、タスクが最初にリソースを受け取ることを意味します。

  -- セッションレベルで構成
  SET hg_experimental_serverless_computing_query_priority = 5;
  -- 構成をリセットします。
  RESET hg_experimental_serverless_computing_query_priority;
  
  -- ユーザーレベルで構成
  ALTER USER "<role_name>" IN DATABASE <db_name> SET hg_experimental_serverless_computing_query_priority = 5;
  -- 構成をリセットします。
  ALTER USER "<role_name>" IN DATABASE <db_name> RESET hg_experimental_serverless_computing_query_priority;

• 例

  -- サーバーレスリソースを使用して SQL 文を実行します。
  SET hg_computing_resource = 'serverless';
  
  -- この SQL 文の優先度を 5 に設定します。
  SET hg_experimental_serverless_computing_query_priority to 5;
  
  -- SQL 文を実行します
  INSERT INTO sink_tbl SELECT * FROM source_tbl;
   
  -- 構成をリセットします
  RESET hg_computing_resource;
  RESET hg_experimental_serverless_computing_query_priority;

サーバーレスコンピューティング構成の検証

次のコードを使用して、前の SQL 文の実行計画を表示します。

-- サーバーレスリソースを使用して SQL 文を実行します。
SET hg_computing_resource = 'serverless';

-- 実行文を説明します。
EXPLAIN INSERT INTO sink_tbl SELECT * FROM source_tbl;

-- 構成をリセットします。
RESET hg_computing_resource;

コードは次の結果を返します。出力に Computing Resource: Serverless が含まれている場合、SQL 文がサーバーレスコンピューティングリソースを使用していることを示します。

                                        QUERY PLAN                                        
------------------------------------------------------------------------------------------
 Gather  (cost=0.00..5.18 rows=100 width=4)
   ->  Insert  (cost=0.00..5.18 rows=100 width=4)
         ->  Redistribution  (cost=0.00..5.10 rows=100 width=4)
               ->  Local Gather  (cost=0.00..5.10 rows=100 width=4)
                     ->  Decode  (cost=0.00..5.10 rows=100 width=4)
                           ->  Seq Scan on source_tbl  (cost=0.00..5.00 rows=100 width=4)
 Computing Resource: Serverless
 Optimizer: HQO version 2.1.0
(8 rows)

サーバーレスリソースで実行中のタスクや履歴タスクを表示することもできます。詳細については、「サーバーレスコンピューティングの監視と O&M」をご参照ください。