Lambda や Kappa などの従来型データウェアハウスアーキテクチャには、主に 3 つの課題があります。バッチとストリーミングで別々のフレームワークを運用することによる保守コストの増大、重複したデータコピーによるストレージの浪費、そしてレイヤー間でロジックがずれることによる整合性リスクです。Realtime Compute for Apache Flink のマテリアライズドテーブルは、クエリ文と設定可能なデータの鮮度の目標値 (日次から数分間隔まで) からテーブルスキーマを自動導出し、継続的にリフレッシュされるデータパイプラインを作成することで、これらの課題に対処します。バッチ処理とストリーム処理を単一のパスに統合することで、マテリアライズドテーブルは冗長なデータコピーを排除し、エンドツーエンドで一貫したデータ処理ロジックとスキーマを確保します。これにより、リアルタイムデータウェアハウスの保守が簡素化されます。
中核概念
マテリアライズドテーブルの仕組み
マテリアライズドテーブルを作成する際は、FRESHNESS パラメータと AS < select_statement> 句を指定する必要があります。Flink エンジンは、テーブルスキーマを自動的に導出してカタログに登録し、FRESHNESS 値に基づいてストリーミングまたはバッチのリフレッシュジョブを作成します。
たとえば、マテリアライズドテーブル C の鮮度が 30 分の場合、Flink はソーステーブル A の更新後、できる限り 30 分以内に C をリフレッシュしようとします。E や F などの下流のマテリアライズドテーブルでは、C の鮮度の正の倍数 (60 分や 90 分など) の鮮度値を使用する必要があります。鮮度値を増やす (たとえば、X 分から Y 時間に変更し、上限は 1 日) と、リフレッシュ頻度が下がり、リソース消費が抑えられます。
シナリオ
バッチ処理とストリーム処理を統合することで、マテリアライズドテーブルは、次のユースケースで技術面およびコスト面のメリットを提供します。
-
過去データのバックフィル。
最終データは、伝送遅延などの問題により一部が歪むことがあります。過去データの修正には、従来は別のバッチジョブが必要でした。マテリアライズドテーブルはオンデマンドのリフレッシュをサポートしており、特定のテーブルと、その下流の依存先すべてに対して、手動でリフレッシュをトリガーできます。
-
データ処理ロジックとテーブルスキーマの統一。
Lambda アーキテクチャでは、過去データとリアルタイムデータが別々のシステムに存在するため、処理ロジックとテーブルスキーマを揃えることが困難です。マテリアライズドテーブルはデータのコピーを 1 つだけ保持するため、複雑な結合や計算を排除できます。これによりストレージ効率が向上し、バッチ処理とストリーム処理のロジック、および過去データとリアルタイムデータのスキーマを統一できます。
-
データの鮮度を柔軟に変更できる動的ダッシュボードの構築。
動的ダッシュボードでは、業務シナリオごとに異なるデータの鮮度レベルが必要になることがあります。鮮度値を変更することで、マテリアライズドテーブルは日次から分単位までのリフレッシュ間隔をサポートします。別途リアルタイムパイプラインを構築して保守する必要はありません。これにより、リアルタイム処理への移行が容易になります。
マテリアライズドテーブルの使用
|
参照 |
説明 |
|
マテリアライズドテーブルの作成方法、過去データのバックフィル、データの鮮度の変更、データリネージの表示方法について説明します。 |
|
|
マテリアライズドテーブルと Apache Paimon テーブルを使用してストリームとバッチを統合したデータレイクハウスを構築する方法、および鮮度を調整してバッチ実行モードからストリーミング実行モードへ切り替え、リアルタイムでデータを更新する方法について説明します。 |
関連ドキュメント
-
Apache Paimon は、ストリーミング処理とバッチ処理の両方に対応する統合レイクストレージ形式です。これを使用して、Object Storage Service (OSS) 上にデータレイクストレージサービスを迅速に構築できます。詳細については、「Paimon Streaming Lakehouse Architecture Solution Selection」をご参照ください。
-
Flink、Paimon、StarRocks を使用してストリーミングレイクハウスを構築する方法の詳細については、「Paimon and StarRocks streaming lakehouse」をご参照ください。