阿里云数据湖构建(Data Lake Formation,简称DLF)是一款全托管的数据湖管理服务,提供统一的元数据、权限和存储管理能力,并支持与阿里云大数据计算引擎对接。
根据目标选择文档
如果您已经明确要完成的任务,可以直接进入对应文档。
|
我的目标 |
建议阅读 |
|
首次开通并使用DLF |
|
|
创建和管理Catalog、数据库或表 |
|
|
为用户或角色配置数据权限 |
|
|
使用计算引擎访问DLF |
|
|
优化湖表文件和存储 |
|
|
管理和检索多模态数据 |
|
|
通过API或CLI管理DLF |
说明
如果您是第一次使用DLF,建议先完成授权和开通,再按照快速入门完成首个任务。
核心能力
-
统一元数据与存储
大数据计算引擎共享一套湖上元数据和存储,且数据可在环湖产品间流动。
-
统一权限管理
大数据计算引擎共享一套湖表权限配置,实现一次配置,多处生效。
-
存储优化
提供小文件合并、过期快照清理、分区整理及废弃文件清理等优化策略,提升存储效率。
-
多模态数据管理与检索
支持管理包含图片、向量和文档等内容的多模态数据,并通过数据探查进行以图搜图、全文检索和可视化探查。
-
计算引擎对接
支持阿里云流批计算引擎访问和使用DLF管理的数据。
产品架构
-
元数据管理:管理Catalog、数据库、表及其相关元数据。
-
权限管理:管理Catalog、数据库和表等不同粒度的数据权限。
-
存储优化:管理小文件合并、过期快照清理、过期分区清理和废弃文件清理等湖表优化策略。
应用场景
Lakehouse场景
DLF统一管理湖上元数据、存储和权限,支持计算引擎访问历史数据、实时数据及多种类型的数据,并支持在权限控制下共享数据。
传统大数据场景
DLF支持离线分析、实时分析、机器学习和日志分析等场景,并通过统一的元数据和存储管理简化数据湖的构建与治理。
下一步
|
如果您想要 |
下一步 |
|
了解使用成本 |
查看计费说明。 |
|
开始使用DLF |
查看快速使用DLF。 |
|
快速体验多模态检索 |
|
|
参考端到端实施方案 |