Hologres:Hologres ：動的パーティション管理

構文

パーティションテーブルの作成時、または既存のパーティションテーブルについて、自動パーティショニングのプロパティを設定できます。

パラメーター

SELECT * FROM pg_timezone_names;

子テーブルの命名規則

auto_partitioning.time_unit プロパティを HOUR、DAY、MONTH、QUARTER、または YEAR に設定すると、Hologres は親テーブル名に時間サフィックスを追加して新しい子テーブルに名前を付けます。フォーマットは {parent_table}_{time_suffix} です。時間サフィックスは、自動パーティショニングのスケジュールと、指定された時間単位のフォーマットテンプレートに基づいて生成されます。次の表にマッピングを示します。

例

次の例では、日単位でパーティション分割されたテーブルを作成します。このテーブルは、今後 3 日間のパーティションを事前作成し、過去 2 日間の履歴パーティションを保持し、Asia/Shanghai タイムゾーンを使用するように設定されています。

次の表に、パーティションの作成と削除のロジックを示します。

特定の子テーブルの保持

デフォルトでは、Hologres は設定された自動パーティショニングルールに基づいて子テーブルを自動的に作成・削除し、保持範囲外のテーブルを削除します。ただし、一部のシナリオでは、重要なデータを保持する必要がある場合があります。例えば、E コマースビジネスで、前年比分析のために年に一度のショッピングフェスティバルのデータを保持する場合などです。特定の子テーブルを保持するには、それらに keep_alive プロパティを設定します。構文は次のとおりです：

• Hologres V2.1 以降の構文：

  -- 子テーブルを保持します。
  ALTER TABLE [<schema_name>.]<table_name> SET (keep_alive = 'true');
  -- 子テーブルの保持を停止します。このプロパティを削除すると、自動パーティショニングは直ちに期限切れデータのクリーンアップをトリガーします。
  ALTER TABLE [<schema_name>.]<table_name> SET (keep_alive = 'false');
  

• すべてのバージョンの構文：

  -- 子テーブルを保持します。
  CALL set_table_property('[<schema_name>.]<table_name>', 'keep_alive', 'true');
  -- 子テーブルの保持を停止します。このプロパティを削除すると、自動パーティショニングは直ちに期限切れデータのクリーンアップをトリガーします。
  CALL set_table_property('[<schema_name>.]<table_name>', 'keep_alive', 'false');

  説明

  table_name を子テーブルの名前に置き換えてください。

パーティションテーブルのストレージ階層の管理

パーティションテーブルを管理する際、ストレージ階層化はコストとパフォーマンスのバランスを取るのに役立ちます。例えば、頻繁なクエリのために最新の N 個の履歴パーティションをホットストレージに保持し、続く M 個の古いパーティションをコールドストレージに格納してコストを削減できます。自動パーティショニングと組み合わせることで、この機能により N+M の保持期間外のデータを自動的に削除するポリシーを定義できます。

BEGIN;
CREATE TABLE tbl2(	
  c1 text not null, 
  c2 text
)
PARTITION BY LIST(c2);
CALL set_table_property('tbl2', 'auto_partitioning.enable', 'true');
CALL set_table_property('tbl2', 'auto_partitioning.time_unit', 'DAY');
CALL set_table_property('tbl2', 'auto_partitioning.num_precreate', '3');
CALL set_table_property('tbl2', 'auto_partitioning.num_hot', '7');
CALL set_table_property('tbl2', 'auto_partitioning.num_retention', '30');
COMMIT;

BEGIN;
CREATE TABLE tbl_p(
  c1 text not null,
  c2 text
)
PARTITION BY LIST(c2);
CALL set_table_property('tbl_p', 'auto_partitioning.enable', 'true');
CALL set_table_property('tbl_p', 'auto_partitioning.time_unit', 'DAY');
CALL set_table_property('tbl_p', 'auto_partitioning.num_precreate', '3');
CALL set_table_property('tbl_p', 'auto_partitioning.num_hot', '3');
CALL set_table_property('tbl_p', 'auto_partitioning.num_retention', '10');
COMMIT;

コールドテーブルから自動パーティションテーブルへの変換

コールドストレージのパーティションテーブルを自動パーティションテーブルに変換し、直近 7 日間のパーティションをホットストレージに移動するには、次の手順に従います：

1. データを準備します：

   -- テーブル作成時にコールドストレージ階層を指定します。
   BEGIN;
   CREATE TABLE tbl2(	
     c1 TEXT NOT NULL, 
     c2 TEXT 
   )
   PARTITION BY LIST(c2);
   CALL set_table_property('tbl2', 'storage_mode', 'cold');
   CREATE TABLE tbl2_20230808 PARTITION OF tbl2 FOR VALUES IN('20230808');
   CREATE TABLE tbl2_20230809 PARTITION OF tbl2 FOR VALUES IN('20230809');
   CREATE TABLE tbl2_20230810 PARTITION OF tbl2 FOR VALUES IN('20230810');
   CREATE TABLE tbl2_20230817 PARTITION OF tbl2 FOR VALUES IN('20230817');
   COMMIT;

2. テーブルを自動パーティションテーブルに変換し、直近 7 日間のパーティションをホットストレージに設定します：

   BEGIN;
   CALL set_table_property('tbl2', 'storage_mode', 'hot'); -- 親テーブルをホットストレージに設定します。
   CALL set_table_property('tbl2_20230810', 'storage_mode', 'cold'); -- ホットストレージに移動する必要のない子テーブルをコールドストレージに設定します。
   CALL set_table_property('tbl2_20230809', 'storage_mode', 'cold');
   CALL set_table_property('tbl2_20230808', 'storage_mode', 'cold');
   CALL set_table_property('tbl2', 'auto_partitioning.enable', 'true');
   CALL set_table_property('tbl2', 'auto_partitioning.time_unit', 'DAY');
   CALL set_table_property('tbl2', 'auto_partitioning.num_precreate', '3');
   CALL set_table_property('tbl2', 'auto_partitioning.num_hot', '7');
   CALL set_table_property('tbl2', 'auto_partitioning.num_retention', '10');
   COMMIT;

自動パーティショニング設定とスケジュールの確認

現在のデータベース内の自動パーティションテーブルの情報と設定をクエリするには、次の SQL ステートメントを実行します：

SELECT
    nsp_name AS schema_name,
    tbl_name AS table_name,
    ENABLE,
    time_unit,
    time_zone,
    num_precreate,
    num_retention,
    b.usename AS create_user,
    cret_time,
    schd_start_time,
    options
FROM
    hologres.hg_partitioning_config AS a
    LEFT JOIN pg_user AS b ON a.cret_user = b.usesysid;

次の表に、クエリ結果のフィールドを示します：

次のコードブロックは、クエリ結果のサンプルを示しています：

 schema_name |       table_name       | enable | time_unit | time_zone | num_precreate | num_retention |   create_user    |          cret_time          |     schd_start_time      | options
-------------+------------------------+--------+-----------+-----------+---------------+---------------+------------------+-----------------------------+--------------------------+---------
 public      | test_auto_part_daily      | t      | day       | PRC       |             4 |            -1 | 1534141793071340 | 2022-04-01 11:45:33+08 | 2050-01-01 00:00:00+08 | {}
 public      | test_auto_part_hourly     | t      | hour      | PRC       |             4 |            -1 | 1534141793071340 | 2022-04-01 11:44:39+08 | 2050-01-03 18:00:00+08 | {}
 public      | test_auto_part_weekly     | t      | week      | PRC       |             2 |             3 | 1534141793071340 | 2022-04-01 11:45:43+08 | 2050-01-03 00:00:00+08 | {}
 public      | test_auto_part_monthly    | t      | month     | PRC       |             1 |             0 | 1534141793071340 | 2022-04-01 11:45:55+08 | 2050-01-01 00:00:00+08 | {}
 public      | test_auto_part_quarterly  | t      | quarter   | PRC       |             2 |            -1 | 1534141793071340 | 2022-04-01 11:46:09+08 | 2050-01-01 00:00:00+08 | {}
 public      | test_auto_part_yearly     | t      | year      | PRC       |             1 |            -1 | 1534141793071340 | 2022-04-01 11:46:18+08 | 2050-01-01 00:00:00+08 | {}
(6 rows)

子テーブルログの確認

クエリログには、子テーブルの作成またはパージのログは記録されません。これらのログをクエリするには、次の SQL ステートメントを実行します：

SELECT                           
    relname,
    relowner,
    schdtime,
    trigtime,
    status,
    message,
    precreate,
    discard
FROM
    hologres.hg_partitioning_log 

次の表に、クエリ結果のフィールドを示します：

次のコードブロックは、クエリ結果のサンプルを示しています：

   relname   |     relowner     |        schdtime        |        trigtime        | status  | message |          precreate           |     discard
-----------+------------------+------------------------+------------------------+---------+---------+------------------------------+------------------
 public.tbl1 | 1534141793071340 | 2022-04-01 11:00:00+08 | 2022-04-01 11:24:22+08 | SUCCESS |         | {tbl1_2022032713,tbl1_2022032714} | {}
 public.tbl2 | 1534141793071340 | 2022-04-01 12:00:00+08 | 2022-04-01 12:38:31+08 | SUCCESS |         | {tbl2_2022040112}                 | {}
 public.tbl2 | 1534141793071340 | 2022-04-01 13:00:00+08 | 2022-04-01 13:00:00+08 | SUCCESS |         | {tbl2_2022040113}                 | {}
 public.tbl2 | 1534141793071340 | 2022-04-01 14:00:00+08 | 2022-04-01 14:00:00+08 | SUCCESS |         | {tbl2_2022040114}                 | {tbl2_2022040112}
(4 rows)

既存テーブルでの自動パーティショニングの有効化

既存のパーティションテーブルで自動パーティショニングを有効にするには、次のいずれかの SQL ステートメントを実行します。

-- Hologres V2.1 以降の例
ALTER TABLE auto_part_old SET (
   auto_partitioning_enable = 'true',
   auto_partitioning_time_unit = 'HOUR',
   auto_partitioning_time_zone = 'PRC',
   auto_partitioning_num_precreate = '4',
   auto_partitioning_num_retention = '-1',
   auto_partitioning_num_hot = '-1'
);
-- すべての Hologres バージョンの例
BEGIN;
CALL set_table_property('auto_part_old', 'auto_partitioning.enable', 'true');
CALL set_table_property('auto_part_old', 'auto_partitioning.time_unit', 'HOUR');
CALL set_table_property('auto_part_old', 'auto_partitioning.time_zone', 'PRC');
CALL set_table_property('auto_part_old', 'auto_partitioning.num_precreate', '4');
CALL set_table_property('auto_part_old', 'auto_partitioning.num_retention', '-1');
CALL set_table_property('auto_part_old', 'auto_partitioning.num_hot', '-1');
COMMIT;

既存子テーブルの自動クリーンアップ

システムは、子テーブル名に基づいて子テーブルを削除するかどうかを判断します。子テーブル名が {parent_table}_{time_suffix} の命名規則に一致する場合、クリーンアップの対象になります。一致しない場合、クリーンアップされません。

num_precreate 子テーブルの作成遅延

テーブルで自動パーティショニングを初めて有効にした場合、作成タスクは直ちに実行されません。システムはデフォルトで 10 分ごとに作成対象のパーティションを確認します。そのため、システムはこの 10 分以内に子テーブルを作成します。