すべてのプロダクト
Search
ドキュメントセンター

Realtime Compute for Apache Flink:マテリアライズドテーブル

最終更新日:Oct 16, 2026

Lambda や Kappa などの従来型データウェアハウスアーキテクチャには、主に 3 つの課題があります。バッチとストリーミングで別々のフレームワークを運用することによる保守コストの増大、重複したデータコピーによるストレージの浪費、そしてレイヤー間でロジックがずれることによる整合性リスクです。Realtime Compute for Apache Flink のマテリアライズドテーブルは、クエリ文と設定可能なデータの鮮度の目標値 (日次から数分間隔まで) からテーブルスキーマを自動導出し、継続的にリフレッシュされるデータパイプラインを作成することで、これらの課題に対処します。バッチ処理とストリーム処理を単一のパスに統合することで、マテリアライズドテーブルは冗長なデータコピーを排除し、エンドツーエンドで一貫したデータ処理ロジックとスキーマを確保します。これにより、リアルタイムデータウェアハウスの保守が簡素化されます。

中核概念

データの鮮度

  • 定義:データの鮮度は、マテリアライズドテーブルにおける重要な属性です。これは、マテリアライズドテーブルとベーステーブルの間で許容される最大の遅延を指します。これはベストエフォートの目標値であり、保証ではありません。Flink はこの値を使用して、自動化されたデータパイプラインのリフレッシュ頻度を決定します。

  • 目的:

    • リフレッシュモード (継続モードまたはフルモード) を決定します。

    • データの鮮度とリソース消費のバランスを取ります。たとえば、分単位の鮮度はリアルタイムダッシュボードに適しており、日次または時間単位の鮮度はバッチ分析に適しています。

リフレッシュモード

マテリアライズドテーブルは 2 つのリフレッシュモード (継続モードとフルモード) をサポートします。

リフレッシュモード

説明

可視性

適用シナリオ

継続モード

ストリーミングジョブによってマテリアライズドテーブルを増分更新し、変更されたデータのみを処理します。

更新は、低レイテンシを目的とする場合は即時に、整合性を目的とする場合はチェックポイント完了後に可視になります。

リスク管理やリアルタイムレコメンデーションなどのリアルタイムアプリケーションに最適です。

フルモード

スケジューラが定期的にバッチジョブ (日次または時間単位) をトリガーし、マテリアライズドテーブルを完全に上書きします。デフォルトでは、上書きはテーブル単位で行われます。時間パーティションなどのパーティションフィールドが定義されている場合、上書きはパーティション単位で行われ、各回で最新パーティションのみがリフレッシュされます。

データは、フルリフレッシュの完了後に可視になります。

過去データのバックフィルや、定期レポートの生成などのシナリオに適しています。

クエリ定義

任意の Flink SQL クエリを使用して、データソースと計算ロジックを定義できます。

動的更新:

  • 継続モードでは、クエリ結果がリアルタイムでマテリアライズドテーブルに反映されます。

  • フルモードでは、スケジュール実行のたびにクエリを実行し、正確性を確保するために以前のデータを上書きします。

スキーマ管理

列名と型はクエリから自動的に導出されるため、手動で宣言する必要はありません。

拡張:

  • クエリパフォーマンスを最適化するために、プライマリキー (例:PRIMARY KEY) を明示的に宣言できます。

  • データをレイヤー化して整理し、リフレッシュ効率を高めるために、(時間などの) パーティションキーを定義できます。

マテリアライズドテーブルの仕組み

マテリアライズドテーブルを作成する際は、FRESHNESS パラメータと AS < select_statement> 句を指定する必要があります。Flink エンジンは、テーブルスキーマを自動的に導出してカタログに登録し、FRESHNESS 値に基づいてストリーミングまたはバッチのリフレッシュジョブを作成します。

image

たとえば、マテリアライズドテーブル C の鮮度が 30 分の場合、Flink はソーステーブル A の更新後、できる限り 30 分以内に C をリフレッシュしようとします。E や F などの下流のマテリアライズドテーブルでは、C の鮮度の正の倍数 (60 分や 90 分など) の鮮度値を使用する必要があります。鮮度値を増やす (たとえば、X 分から Y 時間に変更し、上限は 1 日) と、リフレッシュ頻度が下がり、リソース消費が抑えられます。

シナリオ

バッチ処理とストリーム処理を統合することで、マテリアライズドテーブルは、次のユースケースで技術面およびコスト面のメリットを提供します。

  • 過去データのバックフィル。

    最終データは、伝送遅延などの問題により一部が歪むことがあります。過去データの修正には、従来は別のバッチジョブが必要でした。マテリアライズドテーブルはオンデマンドのリフレッシュをサポートしており、特定のテーブルと、その下流の依存先すべてに対して、手動でリフレッシュをトリガーできます。

  • データ処理ロジックとテーブルスキーマの統一。

    Lambda アーキテクチャでは、過去データとリアルタイムデータが別々のシステムに存在するため、処理ロジックとテーブルスキーマを揃えることが困難です。マテリアライズドテーブルはデータのコピーを 1 つだけ保持するため、複雑な結合や計算を排除できます。これによりストレージ効率が向上し、バッチ処理とストリーム処理のロジック、および過去データとリアルタイムデータのスキーマを統一できます。

  • データの鮮度を柔軟に変更できる動的ダッシュボードの構築。

    動的ダッシュボードでは、業務シナリオごとに異なるデータの鮮度レベルが必要になることがあります。鮮度値を変更することで、マテリアライズドテーブルは日次から分単位までのリフレッシュ間隔をサポートします。別途リアルタイムパイプラインを構築して保守する必要はありません。これにより、リアルタイム処理への移行が容易になります。

マテリアライズドテーブルの使用

参照

説明

マテリアライズドテーブルの作成と使用

マテリアライズドテーブルの作成方法、過去データのバックフィル、データの鮮度の変更、データリネージの表示方法について説明します。

Materialized Table (Build a Unified Stream-Batch Lakehouse)

マテリアライズドテーブルと Apache Paimon テーブルを使用してストリームとバッチを統合したデータレイクハウスを構築する方法、および鮮度を調整してバッチ実行モードからストリーミング実行モードへ切り替え、リアルタイムでデータを更新する方法について説明します。

関連ドキュメント