Data Lake Formation:Paimon テーブル

プライマリキー付きテーブル

プライマリキー付きテーブルは、プライマリキーを一意の識別子として使用します。これは ストリーム処理シナリオ向けに設計されており、レコードに対する リアルタイム更新、挿入、削除をサポートします。また、ダウンストリームのストリーム消費向けに正確な変更ログを自動生成します。さらに、プライマリキー条件に基づく 効率的なデータクエリもサポートします。

• Flink SQL の例

  CREATE TABLE orders (
    order_id BIGINT,
    price    BIGINT,
    customer STRING,
    PRIMARY KEY NOT ENFORCED(order_id)
  );

• Spark SQL の例

  CREATE TABLE orders (
    order_id BIGINT,
    price    BIGINT,
    customer STRING
  ) TBLPROPERTIES (
    'primary-key' = 'order_id'
  );

DLF ではデフォルトで Postpone Bucket モードが使用されます。これは、パーティションのデータ量に応じてバケット数を動的に調整する適応型バケット割り当て戦略です。過剰なバケット数（読み取りパフォーマンス低下）や不足したバケット数（書き込みパフォーマンス低下）によるパフォーマンス問題を回避します。バケット数を手動で設定する必要はありません。ただし、Postpone モードではデータ遅延が発生します。新しく書き込まれたデータは、コンパクションが完了するまで可視化されません。

遅延を回避するには、以下のいずれかの方法を実施してください：

1. Ververica Runtime (VVR) 11.4+ を使用した Flink、または esr-4.5+ を使用した Spark を利用します。これらのバージョンでは、Postpone モードにおいてバッチを直接バケットに書き込むため、遅延が発生しません。

2. 遅延の影響を受けやすいテーブルについては、バケット数を明示的に設定します。例： 'bucket' = '5'。パーティションあたりのデータ量が 1 GB の場合、1 バケットを推奨します。

システムは、データ特性およびトラフィック負荷に応じてバケット数を動的に調整し、ストレージ効率および読み取り・書き込みパフォーマンスを維持するために、必要に応じて自動スケーリングを実行します。スケーリング戦略の詳細については、以下のセクションをご参照ください。

その他のビジネス関連の構成については、以下の項目を定義します：

• マージエンジン（merge-engine）：複雑な計算を実行します。

• 削除ベクター（deletion-vectors.enabled）：クエリパフォーマンスを大幅に向上させます。

  説明

  この機能を有効化すると、バケットモードに関係なく、新しく書き込まれたすべてのデータは、可視化される前にコンパクションを実行する必要があります。

• チャネルログプロデューサー（changelog-producer）：ダウンストリームのストリーム読み取り向けにチャネルログを生成するため、値を 'lookup' に設定します。

• シーケンスフィールド（sequence.field）：順序外のデータを処理し、正しい更新順序を保証します。

上流のデータが CDC データである場合は、Flink CDC またはデータ統合製品を使用してレイクにデータを書き込みます。これらのツールは、フルデータベース同期、自動テーブル作成、およびテーブルスキーマ同期を提供します。

プライマリキー付きテーブルにおける高性能 OLAP クエリを実現するには、削除ベクターの有効化を強く推奨します。コンパクションリソースの消費は増加しますが、より安定かつ高性能な OLAP クエリが得られます。

追加専用テーブル

追加専用テーブルは プライマリキーを持ちません。プライマリキー付きテーブルとは異なり、ストリームによる直接更新はサポートされません。ただし、バッチ処理パフォーマンスが著しく優れています。

1. ストリーム書き込みおよびストリーム読み取りをサポートします。DLF は小規模ファイルを自動的にマージし、低コストでデータのタイムリネスを向上させます。

2. DELETE、UPDATE、MERGE INTO などの細かい単位での操作をサポートします。また、バージョン管理およびタイムトラベル機能も提供し、多様なビジネス要件に対応します。

3. ソートおよびビットマップを活用したクエリ高速化をサポートします。OLAP エンジンは、直接読み取り性能において優れた結果を提供します。

プライマリキーがないストリーム処理またはほとんどのバッチ処理シナリオでは、追加専用テーブルをご利用ください。プライマリキー付きテーブルと比較して、追加専用テーブルは使いやすく、効率的なデータ書き込みおよびクエリを実現できます。

• Flink SQL の例

  CREATE TABLE orders (
    order_id BIGINT,
    price    BIGINT,
    customer STRING
  );

• Spark SQL の例

  CREATE TABLE orders (
    order_id BIGINT,
    price    BIGINT,
    customer STRING
  );