阿里雲資料湖構建(Data Lake Formation,簡稱DLF)是一款全託管的資料湖管理服務,提供統一的中繼資料、許可權和儲存管理能力,並支援與阿里雲巨量資料計算引擎對接。
根據目標選擇文檔
如果您已經明確要完成的任務,可以直接進入對應文檔。
|
我的目標 |
建議閱讀 |
|
首次開通並使用DLF |
|
|
建立和管理Catalog、資料庫或表 |
|
|
為使用者或角色配置資料許可權 |
|
|
使用計算引擎訪問DLF |
|
|
最佳化湖表檔案和儲存 |
|
|
管理和檢索多模態資料 |
|
|
通過API或CLI管理DLF |
說明
如果您是第一次使用DLF,建議先完成授權和開通,再按照快速入門完成首個任務。
核心能力
-
統一中繼資料與儲存
巨量資料計算引擎共用一套湖上中繼資料和儲存,且資料可在環湖產品間流動。
-
統一許可權管理
巨量資料計算引擎共用一套湖表許可權配置,實現一次配置,多處生效。
-
儲存最佳化
提供小檔案合并、到期快照清理、分區整理及廢棄檔案清理等最佳化策略,提升儲存效率。
-
多模態資料管理與檢索
支援管理組件含圖片、向量和文檔等內容的多模態資料,並通過資料探查進行以圖搜圖、全文檢索索引和可視化探查。
-
計算引擎對接
支援阿里雲流批次計算引擎訪問和使用DLF管理的資料。
產品架構
-
中繼資料管理:管理Catalog、資料庫、表及其相關中繼資料。
-
許可權管理:管理Catalog、資料庫和表等不同粒度的資料許可權。
-
儲存最佳化:管理小檔案合并、到期快照清理、到期分區清理和廢棄檔案清理等湖表最佳化策略。
應用情境
Lakehouse情境
DLF統一管理湖上中繼資料、儲存和許可權,支援計算引擎訪問歷史資料、即時資料及多種類型的資料,並支援在許可權控制下共用資料。
傳統巨量資料情境
DLF支援離線分析、即時分析、機器學習和日誌分析等情境,並通過統一的中繼資料和儲存管理簡化資料湖的構建與治理。
下一步
|
如果您想要 |
下一步 |
|
瞭解使用成本 |
查看計費說明。 |
|
開始使用DLF |
查看快速使用DLF。 |
|
快速體驗多模態檢索 |
|
|
參考端到端實施方案 |