全部產品
Search
文件中心

Data Lake Formation:引擎對接

更新時間:Oct 23, 2025

DLF 作為阿里雲統一的資料湖底座,旨在無縫整合主流巨量資料計算引擎,為即時湖倉、離線湖倉及 OLAP 分析等多樣化業務情境提供強大支援。目前,DLF已與Realtime ComputeFlink(VVP)、EMR Serverless Spark、EMR Serverless StarRocks 和 EMR on ECS 等核心引擎深度對接,並持續擴充其生態相容性。

對接方式

為了滿足不同引擎和使用者在訪問資料時的靈活性需求,DLF 提供了以下三種標準化的對接方式:

  1. Paimon REST:面向基於 Apache Paimon 構建的計算引擎,提供符合 Paimon 社區規範的 RESTful 中繼資料服務介面,支援表結構管理、快照查詢等核心操作。

  2. Iceberg REST:面向基於 Apache Iceberg 構建的計算引擎,提供符合 Iceberg 社區規範的 RESTful 中繼資料服務介面,支援表結構管理、快照查詢等核心操作。

  3. 檔案訪問:通過 Paimon 虛擬檔案系統(PVFS),將表資料抽象為標準檔案路徑,直接讀取底層資料檔案與中繼資料,無需依賴完整計算引擎,適用於指令碼化探索、調試及輕量級資料處理。

通過這三種方式,您可以根據自身引擎的技術棧和架構偏好,選擇最適合的接入路徑,實現與 DLF 資料湖的高效協同。