Data Lake Formation:Paimon Table

プライマリキーテーブル

プライマリキーテーブルは、プライマリキーを一意の識別子として使用し、ストリーム処理シナリオ向けに設計されたテーブルタイプです。テーブル内のレコードに対してリアルタイムの更新、挿入、削除操作を実行できます。また、下流システムが消費するための正確な変更ログを自動的に生成します。さらに、プライマリキーテーブルは、プライマリキーの条件に基づいた効率的なデータクエリをサポートします。

• Flink SQL の例

  CREATE TABLE orders (
    order_id BIGINT,
    price    BIGINT,
    customer STRING,
    PRIMARY KEY NOT ENFORCED(order_id)
  );

• Spark SQL の例

  CREATE TABLE orders (
    order_id BIGINT,
    price    BIGINT,
    customer STRING
  ) TBLPROPERTIES (
    'primary-key' = 'order_id'
  );

デフォルトでは、DLF は Postpone Bucket モードを使用します。これは適応的なバケット割り当てポリシーです。このモードは、パーティション内のデータ量に基づいてバケット数を動的に調整し、バケットが多すぎることによる読み取りパフォーマンスの低下や、バケットが少なすぎることによる書き込みパフォーマンスの問題を防ぎます。このインテリジェントなメカニズムにより、手動でのバケット設定が不要になります。ただし、Postpone モードにはデータ遅延があり、新しく書き込まれたデータはコンパクションが完了するまで表示されません。

この遅延を回避するには、次のいずれかを実行できます:

1. Flink (Ververica Runtime (VVR) 11.4+) または Spark (esr-4.5+) を使用します。Postpone モードでは、新しいバージョンはバッチを直接バケットに書き込むため、遅延がなくなります。

2. 遅延の影響を受けやすいテーブルの場合は、バケット数を明示的に設定します。例: 'bucket' = '5'。パーティションデータ 1 GB ごとに 1 つのバケットを推奨します。

その他のビジネス関連の設定については、次を定義できます:

• より複雑な計算を実行するための マージエンジン (merge-engine)。

• 削除ベクター (deletion-vectors.enabled) を使用して、クエリパフォーマンスを大幅に向上させます。

  説明

  この機能が有効になると、バケットモードの種類に関係なく、新しく書き込まれたすべてのデータはコンパクション後にのみ表示されます。

• 下流のストリーム読み取り用の変更ログを生成するために 'lookup' に設定された 変更ログプロデューサー (changelog-producer)。

• 順序が乱れたシナリオを処理し、正しい更新シーケンスを保証するための シーケンスフィールド (sequence.field)。

上流のソースが Change Data Capture (CDC) データである場合、Flink CDC またはデータ統合プロダクトを使用してデータをレイクに書き込むことができます。これにより、完全なデータベース同期、自動テーブル作成、テーブルスキーマ同期などの機能が提供されます。

OLAP エンジンでプライマリキーテーブルに対してハイパフォーマンスなクエリを実行する場合、「deletion vectors」モードを有効にすることを強くお勧めします。このモードはより多くのコンパクションリソースを消費しますが、より安定したハイパフォーマンスな OLAP クエリを提供します。

追記専用テーブル

テーブルにプライマリキーが定義されていない場合、それは追記専用テーブルです。プライマリキーテーブルとは異なり、追記専用テーブルは直接のストリーム更新をサポートしませんが、そのバッチ処理パフォーマンスははるかに優れています。

1. ストリーム書き込みとストリーム読み取りをサポートします。DLF バックグラウンドサービスは、より低い計算コストでデータの可用性を向上させるために、小さなファイルを自動的にマージします。

2. DELETE、UPDATE、MERGE INTO などの詳細なデータ操作をサポートします。また、多様なビジネスニーズに対応するためのバージョン管理とタイムトラベル機能も提供します。

3. ソートとビットマップの定義によるクエリアクセラレーションをサポートし、OLAP エンジンに優れた直接読み取りパフォーマンスを提供します。

追記専用テーブルは、ほとんどのバッチ処理シナリオや、プライマリキーを持たないストリーム処理シナリオで使用できます。プライマリキーテーブルと比較して、追記専用テーブルは使用がより簡単で、効率的なデータ書き込みとクエリを提供します。

• Flink SQL の例

  CREATE TABLE orders (
    order_id BIGINT,
    price    BIGINT,
    customer STRING
  );

• Spark SQL の例

  CREATE TABLE orders (
    order_id BIGINT,
    price    BIGINT,
    customer STRING
  );