Hologres:動的パーティション管理

構文説明

パーティションテーブル作成時に動的パーティション管理プロパティを設定するか、テーブル作成後に変更できます。構文は以下のとおりです。

パラメーター説明

SELECT * FROM pg_timezone_names;

テーブル名の生成ルール

auto_partitioning.time_unit パラメーターが HOUR、DAY、MONTH、QUARTER、または YEAR に設定されている場合、動的パーティションは親テーブル名に時間サフィックスを付加した形式で新しいパーティション名を生成します。形式は {parent_table}_{time_suffix} です。時間サフィックスは、自動パーティションのスケジュール時間と時間単位に対応するフォーマットテンプレートに基づいて生成されます。具体的なマッピングは以下のとおりです。

使用例

以下の例では、時間単位を DAY に設定し、翌日以降 3 日分のパーティションを事前作成し、過去 2 日分の履歴パーティションを保持し、タイムゾーンを Asia/Shanghai に設定します。

パーティションの追加および削除のロジックは以下のとおりです。

特定の子パーティションを保持する

デフォルトでは、システムは設定された動的パーティションルールに基づき、子パーティションを自動的に作成および削除します。保持範囲外の子パーティションは自動的に削除されます。ただし、一部のシナリオでは重要なパーティションのデータを保持する必要があります。たとえば、EC シナリオでは、毎年の独身の日のデータを前年比や前月比分析のために保持する必要がある場合があります。keep_alive プロパティをテーブルに追加することで、特定の子パーティションを保持できます。構文は以下のとおりです。

• V2.1 以降でサポートされる構文：

  -- パーティションを保持
  ALTER TABLE [<schema_name>.]<table_name> SET (keep_alive = 'true');
  
  -- パーティションの保持を停止：保持プロパティを削除すると、動的パーティション管理が直ちに期限切れデータのパージをトリガーします。
  ALTER TABLE [<schema_name>.]<table_name> SET (keep_alive = 'false');
  

• すべてのバージョンでサポートされる構文：

  -- パーティションを保持
  CALL set_table_property('[<schema_name>.]<table_name>', 'keep_alive', 'true');
  
  -- パーティションの保持を停止：保持プロパティを削除すると、動的パーティション管理が直ちに期限切れデータのパージをトリガーします。
  CALL set_table_property('[<schema_name>.]<table_name>', 'keep_alive', 'false');

  説明

  table_name は実際の子パーティション名に置き換えてください。

パーティションテーブルの記憶媒体を動的に管理する

パーティションテーブルを扱う際、ホットデータとコールドデータの階層型ストレージを使用することで、コストとパフォーマンスのバランスを効果的に取れます。たとえば、最新の N 個の履歴パーティションをホットストレージに動的に保持して頻繁なクエリ要求に対応し、それより古い M 個のパーティションをコールドストレージに格納してコストを削減できます。このシナリオは、動的パーティション管理機能を使用して、N+M 個より古いデータを削除することで実現できます。

BEGIN;
CREATE TABLE tbl2(	
  c1 text not null, 
  c2 text
)
PARTITION BY LIST(c2);
CALL set_table_property('tbl2', 'auto_partitioning.enable', 'true');
CALL set_table_property('tbl2', 'auto_partitioning.time_unit', 'DAY');
CALL set_table_property('tbl2', 'auto_partitioning.num_precreate', '3');
CALL set_table_property('tbl2', 'auto_partitioning.num_hot', '7');
CALL set_table_property('tbl2', 'auto_partitioning.num_retention', '30');
COMMIT;

BEGIN;
CREATE TABLE tbl_p(
  c1 text not null,
  c2 text
)
PARTITION BY LIST(c2);
CALL set_table_property('tbl_p', 'auto_partitioning.enable', 'true');
CALL set_table_property('tbl_p', 'auto_partitioning.time_unit', 'DAY');
CALL set_table_property('tbl_p', 'auto_partitioning.num_precreate', '3');
CALL set_table_property('tbl_p', 'auto_partitioning.num_hot', '3');
CALL set_table_property('tbl_p', 'auto_partitioning.num_retention', '10');
COMMIT;

コールドストレージパーティションテーブルを動的パーティションテーブルに変更する

たとえば、コールドストレージプロパティを持つパーティションテーブルを動的パーティションテーブルに変更し、過去 7 日間のパーティションをホットストレージに設定するには、以下の方法を使用します。

1. データ準備。

   -- テーブル作成時にストレージポリシーとしてコールドストレージを指定します。
   BEGIN;
   CREATE TABLE tbl2(	
     c1 TEXT NOT NULL, 
     c2 TEXT 
   )
   PARTITION BY LIST(c2);
   CALL set_table_property('tbl2', 'storage_mode', 'cold');
   
   CREATE TABLE tbl2_20230808 PARTITION OF tbl2 FOR VALUES IN('20230808');
   CREATE TABLE tbl2_20230809 PARTITION OF tbl2 FOR VALUES IN('20230809');
   CREATE TABLE tbl2_20230810 PARTITION OF tbl2 FOR VALUES IN('20230810');
   CREATE TABLE tbl2_20230817 PARTITION OF tbl2 FOR VALUES IN('20230817');
   COMMIT;

2. テーブルを動的パーティションテーブルに変更し、過去 7 日間のパーティションをホットストレージに設定します。

   BEGIN;
   CALL set_table_property('tbl2', 'storage_mode', 'hot'); -- 親テーブルをホットに設定。
   CALL set_table_property('tbl2_20230810', 'storage_mode', 'cold'); -- ホットストレージに移動不要なパーティションをコールドに設定。
   CALL set_table_property('tbl2_20230809', 'storage_mode', 'cold');
   CALL set_table_property('tbl2_20230808', 'storage_mode', 'cold');
   CALL set_table_property('tbl2', 'auto_partitioning.enable', 'true');
   CALL set_table_property('tbl2', 'auto_partitioning.time_unit', 'DAY');
   CALL set_table_property('tbl2', 'auto_partitioning.num_precreate', '3');
   CALL set_table_property('tbl2', 'auto_partitioning.num_hot', '7');
   CALL set_table_property('tbl2', 'auto_partitioning.num_retention', '10');
   COMMIT;

動的パーティションの設定とスケジュール状態の確認

次の SQL 文を実行して、現在のデータベース内の動的パーティションテーブルとその設定情報をクエリします。

SELECT
    nsp_name AS schema_name,
    tbl_name AS table_name,
    ENABLE,
    time_unit,
    time_zone,
    num_precreate,
    num_retention,
    b.usename AS create_user,
    cret_time,
    schd_start_time,
    options
FROM
    hologres.hg_partitioning_config AS a
    LEFT JOIN pg_user AS b ON a.cret_user = b.usesysid;

以下にフィールドを説明します。

以下の結果が返されます。

子パーティションの作成およびパージログの確認

クエリログには、子パーティションの作成およびパージに関するログは記録されません。次の SQL 文を実行して、これらのログをクエリします。

SELECT                           
    relname,
    relowner,
    schdtime,
    trigtime,
    status,
    message,
    precreate,
    discard
FROM
    hologres.hg_partitioning_log 

上記のフィールド名を以下に説明します。

以下の結果が返されます。

既存のパーティションテーブルに対して動的パーティションを有効にするにはどうすればよいですか？

次の SQL 文を使用して、既存のパーティションテーブルに対して動的パーティションを有効にできます。

-- Hologres V2.1 以降向けの SQL 例
ALTER TABLE auto_part_old SET (
   auto_partitioning_enable = 'true',
   auto_partitioning_time_unit = 'HOUR',
   auto_partitioning_time_zone = 'PRC',
   auto_partitioning_num_precreate = '4',
   auto_partitioning_num_retention = '-1',
   auto_partitioning_num_hot = '-1'
);

-- すべての Hologres バージョン向けの SQL 例
BEGIN;
CALL set_table_property('auto_part_old', 'auto_partitioning.enable', 'true');
CALL set_table_property('auto_part_old', 'auto_partitioning.time_unit', 'HOUR');
CALL set_table_property('auto_part_old', 'auto_partitioning.time_zone', 'PRC');
CALL set_table_property('auto_part_old', 'auto_partitioning.num_precreate', '4');
CALL set_table_property('auto_part_old', 'auto_partitioning.num_retention', '-1');
CALL set_table_property('auto_part_old', 'auto_partitioning.num_hot', '-1');
COMMIT;

既存のパーティションテーブルに対して動的パーティションを有効にした後、履歴の子パーティションは自動パージロジックの影響を受けますか？

システムは子パーティションの名前に基づいてパージを実行します。子パーティションの名前が {parent_table}_{time_suffix} の命名規則に一致する場合、パージされます。一致しない場合は、パージされません。

動的パーティションテーブルを作成し、num_precreate を 3 に設定しました。SQL 文を実行した後、親テーブルは正常に作成されましたが、3 つの子パーティションは作成されませんでした。なぜですか？

動的パーティションの初期作成タスクは、デフォルトで 10 分ごとにチェックされます。そのため、子パーティションは 10 分以内に作成されます。しばらくしてから再度確認してください。