Data Lake Formation:Paimon テーブル

プライマリキーテーブル

このテーブルタイプは、プライマリキーを一意の識別子として使用し、ストリームデータ処理のシナリオ向けに設計されています。テーブル内のレコードに対して リアルタイム更新、挿入、削除を実行できます。また、ダウンストリームシステムがストリームとして消費できる正確な変更ログを自動的に生成します。さらに、プライマリキー条件に基づく 効率的なデータクエリをサポートします。

• Flink SQL の例

  CREATE TABLE orders (
    order_id BIGINT,
    price    BIGINT,
    customer STRING,
    PRIMARY KEY NOT ENFORCED(order_id)
  );

• Spark SQL の例

  CREATE TABLE orders (
    order_id BIGINT,
    price    BIGINT,
    customer STRING
  ) TBLPROPERTIES (
    'primary-key' = 'order_id'
  );

DLF プロダクトはデフォルトで Postpone Bucket モードを使用します。このアダプティブなバケット割り当て戦略では、パーティションのデータ量に応じてバケット数を動的に調整します。これにより、バケット数が多すぎることによる読み取りパフォーマンスの低下や、少なすぎることによる書き込みパフォーマンスの問題を防止します。このインテリジェントなメカニズムにより、バケット構成を意識する必要はありません。ただし、Postpone モードではデータ遅延が発生します。新しく書き込まれたデータは、コンパクションが完了するまで可視化されません。

遅延を回避するには、以下の対策を講じてください：

1. Flink（VVR 11.4 以降）または Spark（esr-4.5 以降）を使用します。Postpone モードでは、新バージョンがバッチ単位で直接バケットに書き込まれるため、遅延が解消されます。

2. 遅延の影響を受けやすいテーブルの場合、バケット数を明示的に設定します。例：'bucket' = '5'。パーティションあたりのデータ量が 1 GB の場合、1 バケットを推奨します。

システムは、データの特性およびトラフィック負荷に応じてバケット数を動的に調整し、ストレージ効率および読み取り・書き込みパフォーマンスを確保するために、適切なタイミングでスケーリング操作を実行します。これらのスケーリングポリシーについて詳しくは、以下のポリシー説明をご確認ください。

その他のビジネス関連の構成については、以下を定義できます：

• merge-engine を設定して、より複雑な計算を実行します。

• 削除ベクター（deletion-vectors.enabled） を有効化して、クエリパフォーマンスを大幅に向上させます。

  説明

  この機能を有効化すると、バケットモードの種類に関係なく、新しく書き込まれたデータはコンパクション完了後のみ可視化されます。

• changelog-producer を 'lookup' に設定して、ダウンストリームのストリーム読み取り用に変更ログを生成します。

• sequence.field を設定して、順序外（out-of-order）のシナリオに対応し、正しい更新順序を保証します。

上流のデータが Change Data Capture（CDC）データである場合、Flink CDC またはデータ統合製品を使用してデータをデータレイクに更新します。これにより、完全なデータベース同期、自動テーブル作成、およびスキーマ同期などの機能を提供します。

プライマリキーテーブルで OLAP エンジンによる高性能クエリを実現したい場合は、「削除ベクター」モードの有効化を強く推奨します。コンパクションリソースの消費は増加しますが、より安定かつ高性能な OLAP クエリを実現できます。

追加専用（append-only）テーブル

テーブルに プライマリキーがない場合、追加専用（append-only）テーブルと呼ばれます。プライマリキーテーブルとは異なり、追加専用テーブルはストリームによる直接更新をサポートしませんが、バッチ処理パフォーマンスははるかに優れています。

1. ストリーム書き込みおよびストリーム読み取りをサポートします。DLF バックエンドは小規模ファイルを自動的にマージし、低い計算コストでデータのタイムリネスを向上させます。

2. 細かい粒度でのデータ操作（DELETE、UPDATE、MERGE INTO）をサポートします。また、バージョン管理およびタイムトラベル機能を提供し、多様なビジネス要件に対応します。

3. ソートおよびビットマップの定義により、クエリを高速化します。OLAP エンジンは直接読み取りに対して優れたパフォーマンスを発揮します。

ほとんどのバッチ処理シナリオ、またはプライマリキーのないストリーム処理シナリオでは、追加専用テーブルの使用を推奨します。プライマリキーテーブルと比較して、追加専用テーブルはシンプルで使いやすく、効率的なデータ書き込みおよびクエリ要件を十分に満たします。

• Flink SQL の例

  CREATE TABLE orders (
    order_id BIGINT,
    price    BIGINT,
    customer STRING
  );

• Spark SQL の例

  CREATE TABLE orders (
    order_id BIGINT,
    price    BIGINT,
    customer STRING
  );