DLF 作為阿里雲統一的資料湖底座,旨在無縫整合主流巨量資料計算引擎,為即時湖倉、離線湖倉及 OLAP 分析等多樣化業務情境提供強大支援。目前,DLF已與Realtime ComputeFlink(VVP)、EMR Serverless Spark、EMR Serverless StarRocks 和 EMR on ECS 等核心引擎深度對接,並持續擴充其生態相容性。
對接方式
為了滿足不同引擎和使用者在訪問資料時的靈活性需求,DLF 提供了以下三種標準化的對接方式:
Paimon REST:面向基於 Apache Paimon 構建的計算引擎,提供符合 Paimon 社區規範的 RESTful 中繼資料服務介面,支援表結構管理、快照查詢等核心操作。
Iceberg REST:面向基於 Apache Iceberg 構建的計算引擎,提供符合 Iceberg 社區規範的 RESTful 中繼資料服務介面,支援表結構管理、快照查詢等核心操作。
檔案訪問:通過 Paimon 虛擬檔案系統(PVFS),將表資料抽象為標準檔案路徑,直接讀取底層資料檔案與中繼資料,無需依賴完整計算引擎,適用於指令碼化探索、調試及輕量級資料處理。
通過這三種方式,您可以根據自身引擎的技術棧和架構偏好,選擇最適合的接入路徑,實現與 DLF 資料湖的高效協同。