Hologres:論理パーティションテーブルの作成

制限事項

• LIST パーティション分割のみをサポートしています。 RANGE と HASH はサポートされていません。

• パーティションキーには、1 つまたは 2 つの列を指定できます。

• サポートされているパーティションキーのデータ型： INT、TEXT、VARCHAR、DATE、TIMESTAMP、および TIMESTAMPTZ。

• パーティションキーは NOT NULL である必要があります。

• 論理パーティションテーブルのパーティションキーは、生成列をサポートしています。

• 単一の論理パーティションテーブルは最大 5,200 パーティションをサポートします。データベース全体では、合計で最大 200,000 の論理パーティションをサポートします。

注意事項

• パーティションの粒度： 1 億行未満のパーティションは避けてください。粒度の細かいパーティションは、クエリ高速化の利点を減少させ、小さなファイルが蓄積するリスクを高めます。たとえば、大量のワークロードに対して日単位でパーティション分割するのは合理的ですが、クライアント ID や 1 時間未満の間隔でパーティション分割するのは、通常、細かすぎます。

• 書き込みパターン： データをパーティションに順次書き込んでください。多くのパーティションに同時に書き込むことは避けてください。

• データ品質： 入力データをクリーンに保ってください。日次パーティションを使用している場合に、タイムスタンプが深夜 0 時にならないなどのダーティデータは、予期しないパーティションの増加を引き起こす可能性があります。

• パーティションのライフサイクル： パーティションを手動で作成または削除しないでください。パーティションは、データが含まれている場合にのみ存在します。パーティション内のすべてのデータが削除されると、Hologres は非同期でパーティションを削除します。

• TRUNCATE と Binlog： TRUNCATE は Binlog を生成しません。セッションの Binlog 生成を無効にするには、TRUNCATE の前に SET hg_experimental_generate_binlog = off を実行してください。

• テーブルプロパティの変更： 論理パーティションテーブルのテーブルプロパティを変更するには、REBUILD 構文を使用してください。バックエンドはタスクを自動的に分割し、パーティションごとに順次実行します。リシャーディング操作 (たとえば、テーブルを別の Table Group に移動する) の場合、HG_MOVE_TABLE_TO_TABLE_GROUP ストアドプロシージャは使用しないでください。正しいアプローチについては、Table Group とシャード数操作ガイドをご参照ください。

論理パーティションテーブルの作成

-- 論理パーティションの親テーブルを作成
CREATE TABLE [IF NOT EXISTS] [<schema_name>.]<table_name> ([
  {
   <column_name> <column_type> [ <column_constraints>, [...]]
   | <table_constraints>
   [, ...]
  }
])
LOGICAL PARTITION BY LIST(<partition_column_1> [, <partition_column_2>])
[WITH(
  <property_name> = <property_value>
 [, ...]
)];

CREATE TABLE public.hologres_logical_parent_1 (
    a TEXT,
    b INT,
    c TIMESTAMP,
    ds DATE NOT NULL,
    PRIMARY KEY (b, ds))
LOGICAL PARTITION BY LIST (ds)
WITH (
    orientation = 'column',
    distribution_key = 'b',
    partition_expiration_time = '30 day',
    partition_keep_hot_window = '15 day',
    partition_require_filter = TRUE,
    binlog_level = 'replica',
    partition_generate_binlog_window = '3 day'
);

CREATE TABLE public.hologres_logical_parent_2 (
    a TEXT,
    b INT,
    c TIMESTAMP,
    ds TIMESTAMP GENERATED ALWAYS AS (date_trunc('day', c)) STORED NOT NULL,
    PRIMARY KEY (b, ds))
LOGICAL PARTITION BY LIST (ds)
WITH (
    orientation = 'column',
    distribution_key = 'b',
    partition_expiration_time = '30 day',
    partition_keep_hot_window = '15 day',
    partition_require_filter = TRUE,
    binlog_level = 'replica',
    partition_generate_binlog_window = '3 day'
);

CREATE TABLE public.hologres_logical_parent_3 (
    a TEXT,
    b INT,
    yy TEXT NOT NULL,
    mm TEXT NOT NULL)
LOGICAL PARTITION BY LIST (yy, mm)
WITH (
    orientation = 'column',
    distribution_key = 'b',
    partition_require_filter = TRUE
);

データの管理

-- データを書き込みます。Hologres はパーティションを自動的に作成します
INSERT INTO public.hologres_logical_parent_2
VALUES
    ('a', 1, '2025-03-16 10:00:00'),
    ('b', 2, '2025-03-17 11:00:00'),
    ('c', 3, '2025-03-18 12:00:00'),
    ('d', 4, '2025-03-19 13:00:00'),
    ('e', 5, '2025-03-20 14:00:00');

-- 行を削除します (テーブルロック)
DELETE FROM public.hologres_logical_parent_2 WHERE ds = '2025-03-20';

-- 親テーブル全体を TRUNCATE します (Binlog は生成されません)
SET hg_experimental_generate_binlog = off;
TRUNCATE public.hologres_logical_parent_2;

-- 指定されたパーティションにインポートします
INSERT INTO public.hologres_logical_parent_1
PARTITION (ds = '2025-03-16')
VALUES
    ('a', 1, '2025-03-16 10:00:00', '2025-03-16');

-- 指定されたパーティションと一致しない行は、(エラーなしで) サイレントにスキップされます
INSERT INTO public.hologres_logical_parent_1
PARTITION (ds = '2025-03-16')
VALUES
    ('a', 1, '2025-03-16 10:00:00', '2025-03-16'),
    ('b', 2, '2025-03-17 11:00:00', '2025-03-17');

-- 特定のパーティションから行を削除します (テーブルロック)
DELETE FROM public.hologres_logical_parent_1 WHERE ds = '2025-03-16' or ds = '2025-03-17';

-- 特定のパーティションを TRUNCATE します (パーティションロック、Binlog は生成されません)
-- コンピューティンググループの DML ではサポートされていません。リーダーコンピューティンググループで実行してください。
SET hg_experimental_generate_binlog = off;
TRUNCATE public.hologres_logical_parent_1 PARTITION (ds = '2025-03-16') PARTITION (ds = '2025-03-17');

論理パーティションテーブルのクエリ

-- パーティションフィルター条件を指定したクエリ
SELECT * FROM public.hologres_logical_parent_1 WHERE ds = '2025-03-16';

-- パーティションフィルター条件を指定しないクエリ
-- 親テーブルで partition_require_filter = FALSE が必要です
SELECT * FROM public.hologres_logical_parent_1;

partition_require_filter が TRUE に設定されている場合、パーティションフィルター条件のないクエリは失敗します。

メタデータの表示

Hologres は、論理パーティションテーブルのメタデータをクエリするためのシステムテーブルと関数を提供します。

テーブルが論理パーティションテーブルであるかどうかの確認：

SELECT *
FROM hologres.hg_table_properties
WHERE
    table_name = '<table_name>'
    AND property_key = 'is_logical_partitioned_table'
    AND property_value = 'true';

すべてのパーティションの一覧表示：

SELECT * FROM hologres.hg_list_logical_partition('<schema_name>.<table_name>');

パーティションプロパティ設定の一覧表示：

このクエリは、子パーティションと親テーブルで異なる設定のみを返します。結果が空の場合は、パーティションレベルの上書きが設定されていないことを意味します。

SELECT *
FROM hologres.hg_logical_partitioned_table_properties
WHERE
    table_namespace = '<schema_name>'
    AND table_name = '<table_name>'
ORDER BY partition DESC;

ホットストレージとコールドストレージのサイズの表示：

SELECT * FROM hologres.hg_partition_file_status('<schema_name>.<table_name>');

論理パーティションは、標準の Hologres システムテーブルとも互換性があります。

論理パーティションテーブルの DDL の表示：

SELECT hg_dump_script('<schema_name>.<table_name>');

親テーブルのプロパティの表示：

SELECT *
FROM hologres.hg_table_properties
WHERE
    table_namespace = '<schema_name>'
    AND table_name = '<table_name>';

最大パーティションの表示：

データのクリーンアップとパーティションのクリーンアップは非同期であるため、最大パーティションが空にされた場合、 MAX_PT は誤った結果を返す可能性があります。この問題を回避するには、INSERT OVERWRITE を使用してデータを削除してください。

SELECT MAX_PT('<schema_name>.<table_name>');

パーティションテーブルがパーティション制限を超えていないかの確認：

CREATE OR REPLACE PROCEDURE check_logical_partition_count()
LANGUAGE 'plpgsql'
AS $$
DECLARE
    table_max_partition_count bigint;
    table_partition_count bigint;
    exceeded_logical_partition_limit boolean;
    row_record record;
BEGIN
    SELECT substring(result FROM '^[^:]*: (\d+)')::INTEGER INTO table_max_partition_count
        FROM hg_admin_command('get_global_flag', 'flag=table_max_partition_count') AS result;

    RAISE NOTICE 'テーブルの最大パーティション数=%', table_max_partition_count;

    FOR row_record IN
        SELECT table_namespace, table_name
            FROM hologres.hg_table_properties
            WHERE property_key = 'is_logical_partitioned_table' AND (property_value = 'true' OR property_value = 't')
    LOOP
        SELECT count(*) INTO table_partition_count
            FROM hologres.hg_list_logical_partition(quote_ident(row_record.table_namespace) || '.' || quote_ident(row_record.table_name));
        IF table_partition_count > table_max_partition_count THEN
            RAISE NOTICE 'テーブル %.% のパーティション数が制限を超えています (% > %)', row_record.table_namespace, row_record.table_name, table_partition_count, table_max_partition_count;
        END IF;
    END LOOP;
END;
$$;

CALL check_logical_partition_count();

次のステップ

• ALTER LOGICAL PARTITION TABLE

• DROP LOGICAL PARTITION TABLE

• 物理パーティションテーブルから論理パーティションテーブルへの移行