資料目錄 - Data Lake Formation

資料目錄（Catalog）是資料湖構建（Data Lake Formation）的中繼資料頂層邏輯實體，採用層級化結構組織中繼資料資源。適用於不同業務或不同使用者間的中繼資料隔離與許可權管控，以及湖資料存放區和湖表營運管理等情境。本文為您介紹資料目錄（Catalog）的基本操作。

前提條件

在使用DLF前，已完成阿里雲帳號角色授權，且已開通DLF服務。詳情請參見授權並開通DLF。

說明
授權和開通操作僅需在首次使用DLF時完成。
若使用RAM使用者管理Catalog，需滿足以下許可權要求：
- 管控API層面：RAM使用者需要具備AliyunDLFFullAccess許可權，或被授予Catalog相關的具體鑒權Action，詳情請參見RAM授權Action參考。
- 資料層面：僅主帳號，或被賦予super_administrator或admin角色，才具備建立Catalog的許可權。請參見配置資料許可權。

使用限制

每個帳號在每個地區最多可建立10個Catalog。如需建立更多Catalog，請提交工單申請。

建立資料目錄

登入資料湖構建控制台。

在数据目录列表頁面，單擊新建 Catalog，配置以下資訊。

配置項	說明
Catalog 名称	必選，唯一標識，不可重名。
描述	可選，輸入描述資訊。
存储类型	標準儲存。
存储冗余类型	可選以下兩種類型：本地冗餘（預設）：資料存放區在單可用性區域（AZ）。當該可用性區域不可用時，會導致相關資料不可訪問，推薦使用同城冗餘。同城冗餘：同一地區（Region）內多可用性區域（AZ）冗餘機制，當某個可用性區域（AZ）不可用時，仍能保證資料可用性。說明 Catalog建立後，同城冗佘不可變更為本地冗餘。相比本地冗餘，同城冗餘能夠提供更高的資料可用性，但價格也相對更高。對資料高可用性要求較高的情境，推薦使用同城冗餘。

勾選服务协议，並單擊建立Catalog。

查看資料目錄

在左側功能表列，選擇数据目录，單擊Catalog名稱，進入Catalog詳情頁。
單擊详细信息頁簽，可查看Catalog基本資料。
單擊权限頁簽，可為使用者或角色授予資料目錄相關許可權。詳情請參見資料授權管理。
單擊存储优化頁簽，可進行儲存分層配置，詳情請參見儲存最佳化。
單擊目录配置頁簽，可進行檔案片段生命週期策略配置和覆蓋Paimon表的預設建表屬性，詳情請參見目錄配置。

儲存最佳化

配置項	說明
智能存储分层	開啟後，系統將根據您配置的生命週期規則，自動對Catalog下所有表進行冷熱分層。請根據業務需求填寫分層策略和分層規則。說明如果Catalog層級開啟智能分層，那麼Table層級的智能儲存分層會預設開啟（繼承自Catalog），並支援在Table層級修改配置。如果在表層級修改規則，則不再展示繼承自Catalog。如果Catalog層級未開啟智能分層，也支援在Table層級開啟，並支援修改。
分层策略	最后访问时间：根據表/分區資料最後訪問時間，進行規則判斷。最后更新时间：按照表/分區資料最後更新時間，進行規則判斷。
分层规则	不同儲存類型的最低儲存時間要求不同。您可選擇性配置以下分層規則：转换至低频访问存储配置天数：自訂，預設30天。資料最後訪問時間超過該天數後，將會自動轉為低頻儲存。低頻儲存依舊可以被計算引擎訪問，但效能會有所下降。被访问自动转标准存储：如果勾選，在表/分區被訪問時，系統會自動將該分區或非分區錶轉換為標準儲存。說明僅在分層策略選擇基於“最後訪問時間”時支援該功能。转换至归档存储配置天数：自訂，預設60天。資料最後訪問時間超過該天數後，將會自動轉為Archive Storage。Archive Storage的資料，將無法被計算引擎訪問。被访问自动转标准存储：如果勾選，在表/分區被訪問時，系統會自動將該分區或非分區錶轉為標準儲存。說明僅在分層策略選擇基於“最後訪問時間”時支援該功能。轉換至冷Archive Storage 配置天数：自訂，預設180天。資料最後訪問時間超過該天數後，將會自動轉為冷Archive Storage。Archive Storage的資料，將無法被計算引擎訪問。

目錄配置

文件碎片生命周期策略

指定檔案片段的到期時間，不得小於1天。（到期後將被系統刪除，刪除後不可恢複）
高级配置

可以覆蓋 Paimon 建表預設參數，參數詳情請參見Paimon Table。

刪除資料目錄

重要

刪除資料目錄前，需滿足以下條件，否則刪除將失敗：

刪除Catalog下所有表，以及default以外的所有資料庫。
表刪除完成24小時後，才能刪除Catalog。

在Catalog列表頁面，單擊操作列的删除。
在彈出的提示框中，單擊确定。