Realtime Compute for Apache Flink は、メタデータ管理にカタログを使用します。カタログは、さまざまなデータソースからメタデータを登録、保存、ロードし、Flink SQL を介して外部システムのメタデータへの統一されたアクセスを可能にします。
カタログを使用する理由
統一管理:さまざまなシステムのメタデータを一元管理し、データ検出を簡素化します。
運用の簡素化:SQL でテーブル関数を直接参照できるため、定義を繰り返す必要がありません。
効率の向上:メタデータのハードコーディングを減らし、開発効率を向上させます。
統合:Paimon や Hive などの外部メタデータサービスとシームレスに統合します。
サポートされているカタログ
従来のデータレイクとデータウェアハウス | リレーショナルデータベースと分析データベース |
メッセージベースおよび非リレーショナルデータソース | 統合と拡張 |