Flink Catalog是中繼資料管理核心。它可以註冊、儲存並載入各類資料來源中繼資料。Catalog統一訪問管理外部系統中繼資料,使Flink SQL實現中繼資料集中持久化。
為什麼使用Catalog
統一管理:集中管理不同系統中繼資料,簡化資料發現。
簡化操作:SQL 直接參考資料表函數,無需重複定義。
提高效率:減少中繼資料寫入程式碼,提升開發效率。
整合開放:無縫整合Paimon,Hive等外部中繼資料服務。
支援的Catalog
傳統資料湖/倉 | 關係型/AnalyticDB |
訊息型/非關係資料來源 | 整合/通用擴充 |