DLF提供符合Apache Paimon REST Catalog標準的表管理API,其檔案儲存體結構與開源社區完全相容。這使得任何相容Paimon的引擎和應用都能夠輕鬆地在DLF中建立、更新、查詢和刪除。
Catalog中的主要資料層次結構如下:
Catalog:資料目錄是中繼資料頂層邏輯實體,採用層級化結構組織中繼資料資源。適用於不同業務或不同使用者間的中繼資料隔離與許可權管控,以及湖資料存放區和湖表營運管理等情境。
Database:資料庫是中繼資料的邏輯分組方式,相較於Catalog提供了更精細化的資料群組織與存取控制能力。
Tables:支援多種表類型,實現跨引擎、跨格式的統一管理與無縫相容。寫入資料支援落盤加密功能可以基於需求申請工單處理。
View:持久化在DLF的視圖,視圖支援方言,您可以為不同的計算引擎配置不同的方言SQL。
Function:持久化在DLF的函數,函數目前支援Flink Jar(Java和Python)函數,也支援Java Lambda函數在Spark引擎上運行。