全部產品
Search
文件中心

Data Lake Formation:管理和配置 DLF 資料目錄

更新時間:Aug 08, 2026

資料目錄(Catalog)是資料湖構建(Data Lake Formation)的中繼資料頂層邏輯實體,採用層級化結構組織中繼資料資源。本文介紹如何建立、查看、配置和刪除資料目錄。

前提條件

  • 在使用DLF前,已完成阿里雲帳號角色授權,且已開通DLF服務。詳情請參見授權並開通DLF

    說明

    授權和開通操作僅需在首次使用DLF時完成。

  • 若使用RAM使用者管理Catalog,需滿足以下許可權要求:

    • 管控API層面:RAM使用者需要具備AliyunDLFFullAccess許可權,或被授予Catalog相關的具體鑒權Action,詳情請參見RAM授權Action參考

    • 資料層面:僅主帳號,或被賦予super_administrator或admin角色,才具備建立Catalog的許可權。請參見步驟二:配置資料許可權

使用限制

每個帳號在每個地區最多可建立10個Catalog。如需建立更多Catalog,請提交工單申請。

建立資料目錄

  1. 登入資料湖構建控制台

  2. 数据目录列表頁面,單擊新建 Catalog,配置以下資訊。

    配置項

    說明

    Catalog 名称

    必選,唯一標識,不可重名。

    描述

    可選,輸入描述資訊。

    存储类型

    標準儲存。

    存储冗余类型

    可選以下兩種類型:

    • 本地冗餘(預設):資料存放區在單可用性區域(AZ)。當該可用性區域不可用時,會導致相關資料不可訪問,推薦使用同城冗餘。

    • 同城冗餘:同一地區(Region)內多可用性區域(AZ)冗餘機制,當某個可用性區域(AZ)不可用時,仍能保證資料可用性。

    說明
    • Catalog建立後,同城冗佘不可變更為本地冗餘。

    • 相比本地冗餘,同城冗餘能夠提供更高的資料可用性,但價格也相對更高。對資料高可用性要求較高的情境,推薦使用同城冗餘。

  3. 勾選服务协议,並單擊建立Catalog

查看資料目錄

  1. 在左側功能表列,選擇数据目录,單擊Catalog名稱,進入Catalog詳情頁。

  2. 單擊详细信息頁簽,可查看Catalog基本資料。

  3. 單擊权限頁簽,可為使用者或角色授予資料目錄相關許可權。詳情請參見資料授權管理

  4. 單擊存储优化頁簽,可進行儲存分層配置,詳情請參見配置儲存分層

  5. 單擊目录配置頁簽,可設定檔片段生命週期和Paimon表的預設建表參數,詳情請參見配置資料目錄

配置資料目錄

配置儲存分層

配置項

說明

智能存储分层

image開啟後,系統將根據您配置的生命週期規則,自動對Catalog下所有表進行冷熱分層。請根據業務需求填寫分層策略和分層規則。

說明
  • 如果Catalog層級開啟智能分層,那麼Table層級的智能儲存分層會預設開啟(繼承自Catalog),並支援在Table層級修改配置。如果在表層級修改規則,則不再展示繼承自Catalog。

  • 如果Catalog層級未開啟智能分層,也支援在Table層級開啟,並支援修改。

分层策略

  • 最后访问时间:根據表/分區資料最後訪問時間,進行規則判斷。

  • 最后更新时间:按照表/分區資料最後更新時間,進行規則判斷。

分层规则

不同儲存類型的最低儲存時間要求不同。

您可選擇性配置以下分層規則:

  • 转换至低频访问存储

    • 配置天数:自訂,預設30天。

      資料最後訪問時間超過該天數後,將會自動轉為低頻儲存。低頻儲存依舊可以被計算引擎訪問,但效能會有所下降。

    • 被访问自动转标准存储:如果勾選,在表/分區被訪問時,系統會自動將該分區或非分區錶轉換為標準儲存。

      說明

      僅在分層策略選擇基於“最後訪問時間”時支援該功能。

  • 转换至归档存储

    • 配置天数:自訂,預設60天。

      資料最後訪問時間超過該天數後,將會自動轉為Archive Storage。Archive Storage的資料,將無法被計算引擎訪問。

    • 被访问自动转标准存储:如果勾選,在表/分區被訪問時,系統會自動將該分區或非分區錶轉為標準儲存。

      說明

      僅在分層策略選擇基於“最後訪問時間”時支援該功能。

  • 轉換至冷Archive Storage

    • 配置天数:自訂,預設180天。

      資料最後訪問時間超過該天數後,將會自動轉為冷Archive Storage。Archive Storage的資料,將無法被計算引擎訪問。

設定檔片段生命週期

  • 文件碎片生命周期策略

    指定檔案片段的到期時間,不得小於1天。(到期後將被系統刪除,刪除後不可恢複)

配置 Paimon 預設建表參數

  • 高级配置

    為建立的 Paimon 表設定預設參數。配置項格式:table-default.<Paimon table property name>,參數詳情請參見Apache Paimon 配置參數文檔

    例如,如需預設開啟 Deletion Vectors,請配置:table-default.deletion-vectors.enabled=true。建表時,系統會移除 table-default. 首碼,並將 deletion-vectors.enabled=true 寫入表參數。

    說明

    建表時顯式指定的表參數優先,不會被此處配置覆蓋。

刪除資料目錄

重要

刪除資料目錄前,需滿足以下條件,否則刪除將失敗:

  • 刪除Catalog下所有表,以及default以外的所有資料庫。

  • 表刪除完成24小時後,才能刪除Catalog。

  1. Catalog列表頁面,單擊操作列的删除

  2. 在彈出的提示框中,單擊确定