資料目錄是您在資料開發前統一的中繼資料工作台。它整合了MaxCompute、Hologres、DLF等多種資料來源的中繼資料,讓您無需離開DataWorks即可完成建表、視圖管理等所有準備工作,從而專註核心開發。
核心特性
統一管理:集中管理多種資料來源的表、視圖、函數及資源,並提供搜尋。
快速建表:無需切換控制台,直接在DataWorks內建立表結構。
DDL建表:支援原生SQL語句,靈活可控。
可視化建表:通過表單填寫,簡單直觀。
Copilot智能建表:通過自然語言描述,由AI輔助產生。
一鍵同步:快速發起MaxCompute與Hologres等資料來源之間的資料同步任務,簡化流程。
快速探查:直接預覽表的結構詳情,快速理解資料。
支援的資料目錄
下表為您展示當前資料目錄支援的資料來源類型,以及對應類型資料來源添加至DataWorks資料目錄的方式。
資料目錄 | 是否支援從工作空間繫結資料源添加 | 是否支援從帳號已有資料來源添加 |
MaxCompute(內部專案、外部項目) | ||
Hologres(內部資料庫、外部資料庫) | ||
DLF Catalog(DLF 1.0、DLF 2.0、DLF 2.5及更高版本) | ||
Hive(EMR Hive) | ||
Lindorm | ||
AnalyticDB MySQL | ||
AnalyticDB PostgreSQL | ||
StarRocks | ||
AI Catalog(AI資料集、AI模型) | 系統將自動讀取與當前 DataWorks 空間同名的AI空間下的資料。 |
認證身份與鑒權說明
資料目錄是否能夠正常讀取資料來源下的資料資訊,取決於資料來源添加至資料目錄的方式,具體規則如下:
從工作空間繫結資料源執行個體添加到資料目錄時,該資料目錄將使用資料來源配置的身份資訊從資料來源讀取資料至DataWorks資料目錄。
從個人帳號已有的資料來源執行個體添加到資料目錄時,該資料目錄將使用您個人識別資訊從資料來源讀取資料至DataWorks資料目錄。
若使用RAM使用者或RAM角色在資料目錄中查看MaxCompute資料,需提前擷取MaxCompute相關許可權。如果添加的MaxCompute資料來源或專案已開啟三層模型,則還需為RAM帳號或RAM角色授予查看Schema中繼資料的許可權。
說明若MaxCompute專案中包含多個Schema,則需要授予所有Schema的中繼資料許可權,才能在資料目錄的專案詳情頁面查看完整的Schema列表。
授權RAM使用者:
GRANT DESCRIBE ON SCHEMA <Schema名> TO USER RAM$<主帳號名>:<RAM使用者名稱>;授權RAM角色:
GRANT DESCRIBE ON SCHEMA <Schema名> TO USER `RAM$<主帳號名>:role/<RAM角色名稱>`;
進入資料目錄
僅支援使用新版資料開發(Data Studio)的工作空間。
進入DataWorks工作空間列表頁,在頂部切換至目標地區,找到目標工作空間,單擊操作列的,進入Data Studio。
在左側導覽列單擊
,進入資料目錄。
添加資料目錄
您可以根據個人需求來打造個人化的分類樹,提升使用體驗。具體操作如下:
進入資料目錄後,找到需要添加的資料來源類型,點擊資料來源類型名稱後面的
表徵圖,即可進入資料目錄的添加頁面。在資料目錄添加頁面,您可以找到具體的執行個體或者資料來源,單擊對應執行個體或者資料來源操作欄中的添加,即可將該執行個體或資料來源添加到資料目錄。
從DataWorks空間已有的資料來源添加的資料目錄,添加完成後將對空間成員可見。
從帳號下已有的資料來源添加的資料目錄,添加後僅對您個人可見。
從帳號下已有的資料來源添加的資料目錄,在資料目錄列表頁面中,僅會展示與DataWorks專案空間處於相同地區下、且您有許可權訪問的資料來源執行個體。
管理資料目錄
隱藏資料目錄
如果您在開發過程中不希望看到與當前操作資料目錄無關的其他資料目錄,可以通過以下步驟將其隱藏。
找到左側分類樹中的資料目錄,單擊右上方的
表徵圖。在彈窗中單擊對應引擎前面的
表徵圖,即可隱藏該引擎對應的所有資料目錄。說明在彈窗中單擊對應引擎前面的空白位置,即可取消隱藏該引擎對應的所有資料目錄。
移出資料目錄
如不再使用添加的資料目錄,您可通過以下操作移出對應的資料目錄。
在左側分類樹中的資料目錄中,找到您所添加的資料目錄,單擊操作列的移出或解除綁定資料目錄。即可完成資料目錄的移除操作。
建立管理資料對象
在資料目錄介面,找到並展開已添加的目錄,即可進入該目錄建立或管理資料對象。更多操作細節可參見下表中的相關文檔。
資料目錄 | 功能說明 | 相關文檔 |
MaxCompute | 建立和管理表、視圖、外表、資源及函數等資料對象。 | |
Hologres | 建立和管理表、視圖等資料對象。 | |
DLF Catalog | 建立和管理資料庫表中繼資料。 | |
Hive | 建立和管理表資料對象。 | |
AnalyticDB MySQL | 建立和管理表資料對象。 | |
AnalyticDB PostgreSQL | 建立和管理表資料對象。 | |
StarRocks | 建立和管理表、視圖資料對象。 | |
AI Catalog | 管理AI Catalog資料集和模型中繼資料。 |