阿里雲資料湖構建（Data Lake Formation，簡稱DLF）是一款全託管的統一中繼資料和資料存放區及管理平台，為客戶提供中繼資料管理、許可權管理和儲存最佳化等功能。DLF與多個阿里雲巨量資料計算引擎無縫對接，打破資料孤島，協助使用者快速實現雲原生資料湖及OpenLake解決方案的構建與管理。該平台能夠實現中繼資料的統一、湖表格式的統一以及資料存放區的統一，顯著簡化客戶在資料湖構建和管理過程中的營運工作，助力企業聚焦於業務創新和資料洞察。
產品特性
統一中繼資料與儲存
巨量資料計算引擎共用一套湖上中繼資料和儲存，且資料可在環湖產品間流動。
統一許可權管理
巨量資料計算引擎共用一套湖表許可權配置，實現一次配置，多處生效。
儲存最佳化
提供小檔案合并、到期快照清理、分區整理及廢棄檔案清理等最佳化策略，提升儲存效率。
完善的雲生態支援體系
深度整合阿里雲產品，包括流批次計算引擎，實現開箱即用，提升使用者體驗與操作便捷性。
產品架構
中繼資料管理：通過控制台查看和管理資料湖中的中繼資料庫及其表的資訊，採用新增中繼資料庫的方式對中繼資料進行操作，並將其整合到第三方應用服務中。
許可權管理：能夠加強湖上資料的許可權控制，以保障資料的安全性。支援對Catalog、中繼資料庫以及中繼資料表三種粒度的許可權管理。
儲存最佳化：支援小檔案合并、到期快照清理、到期分區清理及廢棄片段檔案清理等湖表最佳化策略，以降低使用成本並提高查詢效率。
產品優勢
全託管服務：Paimon中繼資料與儲存服務統一管理，開箱即用，免去營運負擔，支援資料開發與治理的全周期。
企業級安全：提供API許可權和資料許可權的雙重管理，支援多樣的許可權控制點，確保資料安全與合規。
靈活的最佳化策略：支援檔案合并、資料清理等多種靈活的湖表最佳化策略，顯著提升訪問效能，降低儲存成本。
領先的開源生態：深度整合Paimon，提供全託管的中繼資料與儲存管理，並與阿里雲的計算引擎及AI產品無縫對接，構建強大的生態系統。
應用情境
Lakehouse情境
Lakehouse結合了資料倉儲與資料湖的優點，提供了一套能夠處理多樣化資料類型並保持高效能分析能力的架構。企業可以利用Lakehouse處理大量歷史資料、即時資料及多種類型的資料。此外，處理後的資料可以作為共用資源，實現各個團隊的按需訪問，同時確保資料的安全性。
傳統巨量資料情境
適用於資料湖計算和資料湖分析情境，典型案例包括巨量資料離線分析、即時分析、機器學習以及記錄檔分析等。通過DLF提供的統一中繼資料和儲存服務，旨在簡化和加速資料湖的構建以及資料治理過程。