このトピックでは、Apache Paimon (Paimon) におけるデータレイテンシーと一貫性について説明します。
スナップショットファイル
スナップショットファイルを使用すると、Paimon テーブル内のデータにアクセスできます。スナップショットファイルは、特定の時点における Paimon テーブル内のデータをキャプチャします。異なる時点で生成されたスナップショットファイルを使用して、ストリーミングモードでコンシューマーオフセットを変更したり、バッチモードでタイムトラベルを実装したりできます。
Paimon テーブルのスナップショットファイルとその作成時刻のクエリ方法については、「Snapshots table」をご参照ください。
スナップショットファイルは、Paimon テーブルからデータを消費するために使用されます。デフォルトでは、スナップショットファイルは削除されるまで 1 時間保持されます。保持期間が過度に短い場合や消費速度が低い場合、使用中のスナップショットファイルが削除され、エラーが発生することがあります。この問題を解決するには、スナップショットファイルの保持期間を変更するか、コンシューマー ID を指定するか、Paimon テーブルのパフォーマンスを最適化してください。
レイテンシー
データを Paimon テーブルに書き込む際、ライターはデータをメモリおよび一時ファイルにキャッシュします。Flink デプロイメントがチェックポイントをトリガーすると、ライターはデータをコミットしてスナップショットファイルを生成します。ストリーミングモードでは、下流のコンシューマーがスナップショットファイルのリストをリッスンし、検出された最新のスナップショットファイルからのみデータを読み取ります。
データレイテンシーとは、データの書き込みからデータの消費までの遅延を指します。データレイテンシーは、スナップショットファイルが生成される頻度によって変動します。Flink デプロイメントでバックプレッシャーが発生しない場合、スナップショットファイルは各チェックポイントで生成されます。つまり、Paimon テーブルのデータレイテンシーはチェックポイント間隔と等しくなります。チェックポイント間隔が過度に小さいと、Flink デプロイ-メントのパフォーマンスに影響する可能性がある点に留意してください。チェックポイント間隔は 1〜10 分の範囲で設定することを推奨します。ビジネス要件に応じて、この範囲内で間隔を長くすることで、読み取りおよび書き込みの効率を向上できます。
一貫性
Paimon は 2 フェーズコミットプロトコルを使用して、データをアトミックにコミットします。2つの Flink デプロイメントを使用して Paimon テーブルに同時にデータを書き込む場合は、次の点に留意してください：
同じバケットを変更しないことを推奨します。これにより、2つのデプロイメントでコミットを並行して実行でき、逐次一貫性を確保できます。
同じバケットを変更する場合、Paimon はデータ競合を解決するためにフェールオーバーをトリガーし、スナップショット分離のみを保証します。これによりデータ変更が失われることはありませんが、Paimon テーブルの最終状態には両方のデプロイメントからのコミットが含まれる場合があります。