Hologres:CREATE LOGICAL PARTITION TABLE

制限事項

• Hologres V3.1 以降でのみ、論理パーティションテーブルがサポートされています。

• 論理パーティションテーブルは、LIST パーティショニングのみをサポートします。最大 2 つのパーティションキー列を指定できます。

• 論理パーティションテーブルのパーティションキーは、INT、TEXT、VARCHAR、DATE、TIMESTAMP、および TIMESTAMPTZ のデータ型をサポートします。

• 論理パーティションテーブルのパーティションキーには、NOT NULL プロパティが必要です。

• 論理パーティションテーブルのパーティションキーは、生成列にすることができます。

• 単一の論理パーティションテーブルは、最大 5,200 個のパーティションをサポートします。データベースは、合計で最大 200,000 個の論理パーティションをサポートします。

• 論理パーティションテーブルはデータ書き込み時に自動的にパーティションを作成するため、次の制限と推奨事項が適用されます:

  • データ書き込みジョブを最適化し、Data Quality を使用してダーティデータを回避します。たとえば、データを日単位でパーティション分割する場合、タイムスタンプが 00:00:00 以外のデータを避けてください。この方法により、パーティションの過剰な拡大を防ぎます。

  • 同時に多くのパーティションに書き込むことを避けるため、パーティションにデータを順次書き込みます。

  • 単一テーブルのインポートジョブには、次の制限が適用されます:

    • バッチインポート中、単一のインポートジョブは最大 50 個のパーティションにデータをインポートできます。この制限を超えると、エラーメッセージ Bulkload partition count exceed limit, partition count is xxx, limit is xxx が返されます。

    • Fixed Plan を使用してデータをインポートする場合、単一テーブルで同時に書き込まれるパーティションの数が 30 を超えると、新しい書き込みリクエストはスロットルされます。リクエストは数秒後に自動的にコミットされます。

    • Fixed Plan を使用してデータをインポートする場合、単一テーブルで同時に書き込まれるパーティションの数が 100 を超えると、新しい書き込みリクエストはエラーメッセージ mem partition count exceed reject limit で失敗します。

  • インスタンスまたは計算グループレベルで、次のスロットリングメカニズムが適用されます:

    • 1 分あたりに 50 を超える新しいパーティションが作成されると、新しいパーティション作成リクエストはスロットルされます。リクエストは数秒後に自動的にコミットされます。

    • 1 分あたりに 100 を超える新しいパーティションが作成されると、新しいパーティション作成リクエストはエラーメッセージ mem partition count exceed reject limit で失敗します。

    • インメモリテーブルの場合、Fixed Plan を使用するときに、同時に書き込まれるパーティションの総数が 500 に達すると、新しい書き込みリクエストはスロットルされます。リクエストは数秒後に自動的にコミットされます。総数は次の数式を使用して計算されます: (単一テーブルに書き込まれたパーティションの数 × シャードの数 / ワーカーの数)。行ストレージと列ストレージの両方を使用するテーブルの場合、結果に 2 を掛けます。次に、すべてのテーブルの結果を合計します。

    • インメモリテーブルの場合、Fixed Plan を使用するときに、同時に書き込まれるパーティションの総数が 5,000 に達すると、新しい書き込みリクエストはエラーメッセージ mem partition count exceed reject limit で失敗します。総数は次の数式を使用して計算されます: (単一テーブルに書き込まれたパーティションの数 × シャードの数 / ワーカーの数)。行ストレージと列ストレージの両方を使用するテーブルの場合、結果に 2 を掛けます。次に、すべてのテーブルの結果を合計します。

注意

• 1 億行未満など、データ量が非常に少ないパーティションの使用は避けてください。この方法は、クエリの高速化パフォーマンスを低下させ、多数の小さなファイルを作成する可能性があります。代わりに、より大きなパーティション粒度を使用してください。

• `TRUNCATE` や `INSERT OVERWRITE` などの操作を使用してパーティション内のすべてのデータを頻繁に置き換える必要がある場合は、パーティションテーブルを使用してください。これらはパフォーマンスを向上させ、大規模な削除操作を回避するのに役立ちます。

• `TRUNCATE` 操作はバイナリログをサポートしていません。セッションレベルで SET hg_experimental_generate_binlog = off コマンドを実行する必要があります。

• 論理パーティションテーブルのパーティションを手動で作成する必要はありません。パーティションは、データが含まれている場合にのみ存在します。パーティション内のすべてのデータが削除されると、パーティションも自動的に削除されます。

  説明

  Hologres は非同期操作としてデータクリーンアップを実行します。したがって、パーティションも非同期で削除されます。

• 論理パーティションテーブルのプロパティを変更するには、REBUILD 構文を使用します。システムはタスクを自動的に分割し、パーティションごとに順次実行します。テーブルのテーブルグループを変更するリシャーディング操作を実行するには、`HG_MOVE_TABLE_TO_TABLE_GROUP` ストアドプロシージャを使用しないでください。詳細については、「テーブルグループと Shard Count の操作」をご参照ください。

論理パーティションテーブルの作成

-- 論理親パーティションテーブルを作成するステートメント
CREATE TABLE [IF NOT EXISTS] [<schema_name>.]<table_name>  ([
  {
   <column_name> <column_type> [ <column_constraints>, [...]]
   | <table_constraints>
   [, ...]
  }
])
LOGICAL PARTITION BY LIST(<partition_column_1> [, <partition_column_2>])
[WITH(
  <property_name> = <property_value>
 [, ...]
)];

論理パーティションテーブルのデータ管理

論理パーティションテーブルのデータを管理する際に、次のロックが取得されます:

• 指定されたパーティションのバッチインポートまたは更新、または指定されたパーティションの `TRUNCATE`: パーティションメタデータロックが取得されます。他のパーティションのデータ管理は影響を受けません。

• パーティションを指定しないバッチインポートまたは更新、パーティションを指定しない `TRUNCATE`、または任意の `DELETE` 操作: テーブルロックが取得されます。他のデータ管理操作は、ロックが解放されるのを待つ必要があります。

• Fixed Plan を使用したデータの書き込み、更新、または削除操作: 行ロックが取得されます。これらの操作は、パーティションまたはテーブルに対するバッチインポート、更新、または削除操作と干渉する可能性があります。Fixed Plan を使用する他のデータの書き込み、更新、または削除操作には影響しません。

論理パーティションテーブルのクエリ

物理パーティションテーブルとは異なり、論理パーティションテーブルは `partition_require_filter` プロパティをサポートします。このプロパティが TRUE に設定されている場合、テーブルをクエリする際に検索ステートメントにパーティションキーのフィルター条件を含める必要があります。

• パーティションキーにフィルター条件を指定して論理パーティションテーブルをクエリします。

  SELECT * FROM public.hologres_logical_parent_1 WHERE ds = '2025-03-16';

• パーティションキーにフィルター条件を指定せずに論理パーティションテーブルをクエリします。これには、親テーブルの `partition_require_filter` プロパティが FALSE である必要があります。

  SELECT * FROM public.hologres_logical_parent_1;

その他の操作

Hologres は、論理パーティションテーブルのメタデータをクエリするために、次のシステムテーブルとシステム関数を提供します。

• hologres.hg_list_logical_partition('<table_name>'): 論理パーティションテーブルのすべてのパーティションをリストします。

• hologres.hg_logical_partitioned_table_properties: 現在のインスタンス内のすべての論理パーティションとそのプロパティ構成をリストします。

• hologres.hg_partition_file_status('<table_name>'): Hologres V3.1.4 以降、この関数を使用して、論理パーティションテーブル内のすべてのパーティションのホットストレージとコールドストレージに保存されているデータ量をクエリできます。

例：

• テーブルのすべての論理パーティションを表示します。

  SELECT * FROM hologres.hg_list_logical_partition ('<スキーマ名>.<テーブル名>');

• テーブルのすべての論理パーティションのプロパティ構成を表示します。

注: このクエリは、親テーブルと異なるサブパーティションの構成のみを表示します。結果が空の場合、サブパーティションには特別な構成はありません。

SELECT
    *
FROM
    hologres.hg_logical_partitioned_table_properties
WHERE 
    table_namespace = '<スキーマ名>'
    AND table_name = '<テーブル名>'
ORDER BY partition DESC;

• テーブル内のすべての論理パーティションのホットストレージとコールドストレージの現在のデータ量を表示します。

  SELECT * FROM hologres.hg_partition_file_status ('<スキーマ名>.<テーブル名>');

前述のシステムテーブルに加えて、論理パーティションテーブルは物理テーブルです。他の Hologres システムテーブルと互換性があり、標準テーブルと同じメタデータクエリメソッドをサポートします。次の例は、メタデータをクエリする方法を示しています:

• 論理パーティションテーブルの DDL 文を表示します。

  SELECT hg_dump_script('<スキーマ名>.<テーブル名>');

• 論理パーティションテーブルの親テーブルのプロパティを表示します。

  SELECT
      *
  FROM
      hologres.hg_table_properties
  WHERE 
      table_namespace = '<スキーマ名>'
      AND table_name = '<テーブル名>';

• 論理パーティションテーブルの最大のパーティションを表示します。

  説明

  論理パーティションテーブルのデータクリーンアップとパーティションクリーンアップは非同期操作です。最大のパーティションからデータをクリアするには、`INSERT OVERWRITE` 操作を使用してデータを削除します。そうしないと、`MAX_PT` 関数が正しくない結果を返す可能性があります。

  SELECT MAX_PT('<スキーマ名>.<テーブル名>');

関連ドキュメント

• ALTER LOGICAL PARTITION TABLE

• DROP LOGICAL PARTITION TABLE

• 物理パーティションテーブルから論理パーティションテーブルへの移行