阿里云数据湖构建（Data Lake Formation，简称DLF）是一款全托管的数据湖管理服务，提供统一的元数据、权限和存储管理能力，并支持与阿里云大数据计算引擎对接。
核心能力
-
统一元数据与存储
大数据计算引擎共享一套湖上元数据和存储，且数据可在环湖产品间流动。
-
统一权限管理
大数据计算引擎共享一套湖表权限配置，实现一次配置，多处生效。
-
存储优化
提供小文件合并、过期快照清理、分区整理及废弃文件清理等优化策略，提升存储效率。
-
多模态数据管理与检索
支持管理包含图片、向量和文档等内容的多模态数据，并通过数据探查进行以图搜图、全文检索和可视化探查。
-
计算引擎对接
支持阿里云流批计算引擎访问和使用DLF管理的数据。
产品架构
-
元数据管理：管理Catalog、数据库、表及其相关元数据。
-
权限管理：管理Catalog、数据库和表等不同粒度的数据权限。
-
存储优化：管理小文件合并、过期快照清理、过期分区清理和废弃文件清理等湖表优化策略。
产品优势
全托管服务：Paimon元数据与存储服务统一管理，开箱即用，免去运维负担，支持数据开发与治理的全周期。
企业级安全：提供API权限和数据权限的双重管理，支持多样的权限控制点，确保数据安全与合规。
灵活的优化策略：支持文件合并、数据清理等多种灵活的湖表优化策略，显著提升访问性能，降低存储成本。
领先的开源生态：深度集成Paimon，提供全托管的元数据与存储管理，并与阿里云的计算引擎及AI产品无缝对接，构建强大的生态系统。
应用场景
Lakehouse场景
DLF统一管理湖上元数据、存储和权限，支持计算引擎访问历史数据、实时数据及多种类型的数据，并支持在权限控制下共享数据。
传统大数据场景
DLF支持离线分析、实时分析、机器学习和日志分析等场景，并通过统一的元数据和存储管理简化数据湖的构建与治理。