資料目錄(Catalog)是資料湖構建(Data Lake Formation)的中繼資料頂層邏輯實體,採用層級化結構組織中繼資料資源。本文介紹如何建立、查看、配置和刪除資料目錄。
前提條件
在使用DLF前,已完成阿里雲帳號角色授權,且已開通DLF服務。詳情請參見授權並開通DLF。
說明授權和開通操作僅需在首次使用DLF時完成。
若使用RAM使用者管理Catalog,需滿足以下許可權要求:
管控API層面:RAM使用者需要具備AliyunDLFFullAccess許可權,或被授予Catalog相關的具體鑒權Action,詳情請參見RAM授權Action參考。
資料層面:僅主帳號,或被賦予super_administrator或admin角色,才具備建立Catalog的許可權。請參見步驟二:配置資料許可權。
使用限制
每個帳號在每個地區最多可建立10個Catalog。如需建立更多Catalog,請提交工單申請。
建立資料目錄
登入資料湖構建控制台
在数据目录列表頁面,單擊新建 Catalog,配置以下資訊。
配置項
說明
Catalog 名称
必選,唯一標識,不可重名。
描述
可選,輸入描述資訊。
存储类型
標準儲存。
存储冗余类型
可選以下兩種類型:
本地冗餘(預設):資料存放區在單可用性區域(AZ)。當該可用性區域不可用時,會導致相關資料不可訪問,推薦使用同城冗餘。
同城冗餘:同一地區(Region)內多可用性區域(AZ)冗餘機制,當某個可用性區域(AZ)不可用時,仍能保證資料可用性。
說明Catalog建立後,同城冗佘不可變更為本地冗餘。
相比本地冗餘,同城冗餘能夠提供更高的資料可用性,但價格也相對更高。對資料高可用性要求較高的情境,推薦使用同城冗餘。
勾選服务协议,並單擊建立Catalog。
查看資料目錄
配置資料目錄
配置儲存分層
配置項 | 說明 |
智能存储分层 |
說明
|
分层策略 |
|
分层规则 | 不同儲存類型的最低儲存時間要求不同。 您可選擇性配置以下分層規則:
|
設定檔片段生命週期
文件碎片生命周期策略
指定檔案片段的到期時間,不得小於1天。(到期後將被系統刪除,刪除後不可恢複)
配置 Paimon 預設建表參數
高级配置
為建立的 Paimon 表設定預設參數。配置項格式:
table-default.<Paimon table property name>,參數詳情請參見Apache Paimon 配置參數文檔。例如,如需預設開啟 Deletion Vectors,請配置:
table-default.deletion-vectors.enabled=true。建表時,系統會移除table-default.首碼,並將deletion-vectors.enabled=true寫入表參數。說明建表時顯式指定的表參數優先,不會被此處配置覆蓋。
刪除資料目錄
刪除資料目錄前,需滿足以下條件,否則刪除將失敗:
刪除Catalog下所有表,以及
default以外的所有資料庫。表刪除完成24小時後,才能刪除Catalog。
在Catalog列表頁面,單擊操作列的删除。
在彈出的提示框中,單擊确定。
開啟後,系統將根據您配置的生命週期規則,自動對Catalog下所有表進行冷熱分層。請根據業務需求填寫分層策略和分層規則。