Hologres:論理パーティションテーブルの作成

制限事項

• LIST パーティショニングのみサポートされています。RANGE と HASH はサポートされていません。

• パーティションキーには 1 列または 2 列を含めることができます。

• サポートされているパーティションキーのデータ型： INT、TEXT、VARCHAR、DATE、TIMESTAMP、TIMESTAMPTZ。

• パーティションキーは NOT NULL である必要があります。

• 論理パーティションテーブルのパーティションキーは 生成列 をサポートしています。

• 1 つの論理パーティションテーブルは最大 5,200 パーティションをサポートします。データベース全体では論理パーティションの合計が最大 200,000 です。

使用上の注意

• パーティションの粒度： 1 億行未満のパーティションは避けてください。粒度が細かいパーティションはクエリの高速化の効果を低下させ、小さなファイルが蓄積するリスクを高めます。例えば、大量データのワークロードでは日単位のパーティショニングは妥当ですが、クライアント ID や 1 時間未満の間隔によるパーティショニングは通常、粒度が細かすぎます。

• 書き込みパターン： パーティションには順次データを書き込んでください。多数のパーティションに同時に書き込むことは避けてください。

• データ品質： 取り込むデータをクリーンに保ってください。日単位のパーティションを使用している場合にタイムスタンプが 0 時ちょうどになっていないなどの不正データは、想定外のパーティション増加を引き起こす可能性があります。

• パーティションライフサイクル： パーティションを手動で作成または削除しないでください。パーティションはデータを含む場合にのみ存在します。パーティション内のすべてのデータが削除されると、Hologres は非同期にパーティションを削除します。

• TRUNCATE とバイナリログ： TRUNCATE はバイナリログを生成しません。セッションのバイナリログ生成を無効にするには、TRUNCATE の前に SET hg_experimental_generate_binlog = off を実行してください。

• テーブルプロパティの変更： 論理パーティションテーブルのテーブルプロパティを変更するには、REBUILD 構文を使用してください。バックエンドはタスクを自動的に分割し、パーティション単位で順次実行します。リシャーディング操作 (例：テーブルを別の Table Group に移動) の場合は、HG_MOVE_TABLE_TO_TABLE_GROUP ストアドプロシージャを使用しないでください。正しい手順については、「Table Group and Shard Count Operation Guide」をご参照ください。

論理パーティションテーブルの作成

-- 論理パーティションの親テーブルを作成します
CREATE TABLE [IF NOT EXISTS] [<schema_name>.]<table_name> ([
  {
   <column_name> <column_type> [ <column_constraints>, [...]]
   | <table_constraints>
   [, ...]
  }
])
LOGICAL PARTITION BY LIST(<partition_column_1> [, <partition_column_2>])
[WITH(
  <property_name> = <property_value>
 [, ...]
)];

CREATE TABLE public.hologres_logical_parent_1 (
    a TEXT,
    b INT,
    c TIMESTAMP,
    ds DATE NOT NULL,
    PRIMARY KEY (b, ds))
LOGICAL PARTITION BY LIST (ds)
WITH (
    orientation = 'column',
    distribution_key = 'b',
    partition_expiration_time = '30 day',
    partition_keep_hot_window = '15 day',
    partition_require_filter = TRUE,
    binlog_level = 'replica',
    partition_generate_binlog_window = '3 day'
);

CREATE TABLE public.hologres_logical_parent_2 (
    a TEXT,
    b INT,
    c TIMESTAMP,
    ds TIMESTAMP GENERATED ALWAYS AS (date_trunc('day', c)) STORED NOT NULL,
    PRIMARY KEY (b, ds))
LOGICAL PARTITION BY LIST (ds)
WITH (
    orientation = 'column',
    distribution_key = 'b',
    partition_expiration_time = '30 day',
    partition_keep_hot_window = '15 day',
    partition_require_filter = TRUE,
    binlog_level = 'replica',
    partition_generate_binlog_window = '3 day'
);

CREATE TABLE public.hologres_logical_parent_3 (
    a TEXT,
    b INT,
    yy TEXT NOT NULL,
    mm TEXT NOT NULL)
LOGICAL PARTITION BY LIST (yy, mm)
WITH (
    orientation = 'column',
    distribution_key = 'b',
    partition_require_filter = TRUE
);

データの管理

-- データを書き込みます。Hologres がパーティションを自動的に作成します
INSERT INTO public.hologres_logical_parent_2
VALUES
    ('a', 1, '2025-03-16 10:00:00'),
    ('b', 2, '2025-03-17 11:00:00'),
    ('c', 3, '2025-03-18 12:00:00'),
    ('d', 4, '2025-03-19 13:00:00'),
    ('e', 5, '2025-03-20 14:00:00');

-- 行を削除します (テーブルロック)
DELETE FROM public.hologres_logical_parent_2 WHERE ds = '2025-03-20';

-- 親テーブル全体を TRUNCATE します (バイナリログは生成されません)
SET hg_experimental_generate_binlog = off;
TRUNCATE public.hologres_logical_parent_2;

-- 指定したパーティションにインポートします
INSERT INTO public.hologres_logical_parent_1
PARTITION (ds = '2025-03-16')
VALUES
    ('a', 1, '2025-03-16 10:00:00', '2025-03-16');

-- 指定したパーティションに一致しない行は黙ってスキップされます (エラーなし)
INSERT INTO public.hologres_logical_parent_1
PARTITION (ds = '2025-03-16')
VALUES
    ('a', 1, '2025-03-16 10:00:00', '2025-03-16'),
    ('b', 2, '2025-03-17 11:00:00', '2025-03-17');

-- 特定パーティションから行を削除します (テーブルロック)
DELETE FROM public.hologres_logical_parent_1 WHERE ds = '2025-03-16' or ds = '2025-03-17';

-- 特定パーティションを TRUNCATE します (パーティションロック、バイナリログは生成されません)
-- コンピューティンググループ DML ではサポートされません。リーダーコンピューティンググループで実行してください。
SET hg_experimental_generate_binlog = off;
TRUNCATE public.hologres_logical_parent_1 PARTITION (ds = '2025-03-16') PARTITION (ds = '2025-03-17');

論理パーティションテーブルのクエリ

-- パーティションフィルター条件を指定してクエリします
SELECT * FROM public.hologres_logical_parent_1 WHERE ds = '2025-03-16';

-- パーティションフィルター条件なしでクエリします
-- 親テーブルで partition_require_filter = FALSE が必要です
SELECT * FROM public.hologres_logical_parent_1;

partition_require_filter が TRUE に設定されている場合、パーティションフィルター条件のないクエリは失敗します。

メタデータの表示

Hologres は、論理パーティションテーブルのメタデータをクエリするためのシステムテーブルと関数を提供します。

テーブルが論理パーティションテーブルかどうかを確認：

SELECT *
FROM hologres.hg_table_properties
WHERE
    table_name = '<table_name>'
    AND property_key = 'is_logical_partitioned_table'
    AND property_value = 'true';

すべてのパーティションを一覧表示：

SELECT * FROM hologres.hg_list_logical_partition('<schema_name>.<table_name>');

パーティションプロパティの構成を一覧表示：

このクエリは、子パーティションと親テーブルの間で異なる構成のみを返します。結果が空の場合、パーティションレベルの上書きは設定されていません。

SELECT *
FROM hologres.hg_logical_partitioned_table_properties
WHERE
    table_namespace = '<schema_name>'
    AND table_name = '<table_name>'
ORDER BY partition DESC;

ホット/コールドストレージのサイズを表示：

SELECT * FROM hologres.hg_partition_file_status('<schema_name>.<table_name>');

論理パーティションは、標準の Hologres システムテーブル とも互換性があります。

論理パーティションテーブルの DDL を表示：

SELECT hg_dump_script('<schema_name>.<table_name>');

親テーブルのプロパティを表示：

SELECT *
FROM hologres.hg_table_properties
WHERE
    table_namespace = '<schema_name>'
    AND table_name = '<table_name>';

最大のパーティションを表示：

データクリーンアップとパーティションのクリーンアップは非同期であるため、最大のパーティションが空になっている場合、MAX_PT が不正確な結果を返すことがあります。この問題を回避するには、INSERT OVERWRITE を使用してデータを削除してください。

SELECT MAX_PT('<schema_name>.<table_name>');

いずれかのパーティションテーブルがパーティション制限を超えているかどうかを確認：

CREATE OR REPLACE PROCEDURE check_logical_partition_count()
LANGUAGE 'plpgsql'
AS $$
DECLARE
    table_max_partition_count bigint;
    table_partition_count bigint;
    exceeded_logical_partition_limit boolean;
    row_record record;
BEGIN
    SELECT substring(result FROM '^[^:]*: (\d+)')::INTEGER INTO table_max_partition_count
        FROM hg_admin_command('get_global_flag', 'flag=table_max_partition_count') AS result;

    RAISE NOTICE 'table_max_partition_count=%', table_max_partition_count;

    FOR row_record IN
        SELECT table_namespace, table_name
            FROM hologres.hg_table_properties
            WHERE property_key = 'is_logical_partitioned_table' AND (property_value = 'true' OR property_value = 't')
    LOOP
        SELECT count(*) INTO table_partition_count
            FROM hologres.hg_list_logical_partition(quote_ident(row_record.table_namespace) || '.' || quote_ident(row_record.table_name));
        IF table_partition_count > table_max_partition_count THEN
            RAISE NOTICE 'table %.% partition count exceeds limit (% > %)', row_record.table_namespace, row_record.table_name, table_partition_count, table_max_partition_count;
        END IF;
    END LOOP;
END;
$$;

CALL check_logical_partition_count();

次のステップ

• ALTER LOGICAL PARTITION TABLE

• DROP LOGICAL PARTITION TABLE

• 物理パーティションテーブルを論理パーティションテーブルへ移行