Data Studio的資源管理功能支援建立並管理MaxCompute、EMR(含EMR Jar、EMR File、Ray File等)、CDH、Flink(含Flink Jar、Flink File、Flink Python等)的資源與函數,在資料開發或SQL查詢中使用。
功能介紹
Data Studio的資源管理功能支援對資源和函數進行統一管理,不僅支援將儲存在OSSObject Storage Service或本機存放區中的資源上傳並建立,還可以將這些資源註冊為函數,以便在資料開發節點中使用。在管理資源和函數時,資源管理功能僅支援管理通過資源管理模組建立的資源和函數。
前提條件
通過上傳OSS檔案方式建立資源時。
使用限制
資源大小:最大支援上傳500MB的資源。
資源發布:若您使用的是標準模式的工作空間,則需將資源發布至生產環境,發布後生產環境的專案才會存在該資源。
說明開發環境和生產環境的資料來源資訊存在差異,查詢對應環境的表、資源等操作前,請先明確相應環境的資料來源資訊。
資源管理:DataWorks僅支援查看與管理通過DataWorks上傳的資源。
支援的資源與函數
資源
資源管理支援通過可視化方式上傳建立,建立的資源不僅可以在資料開發工作單位中使用,還可以建立為自訂函數。
資料來源 | 資源 | 支援建立的方式 | |
本地 | OSS | ||
MaxCompute Python 編寫好的Python代碼,用於註冊Python UDF函數。尾碼為 |
|
| |
MaxCompute Jar 編譯好的Java JAR包,用於運行Java程式。尾碼為 | |||
MaxCompute Archive 僅支援將 | |||
MaxCompute File 支援將任意類型檔案上傳為File資源,實際使用時請以各引擎支援情況為準。 | |||
EMR Jar 編譯好的Java JAR包,用於運行Java程式。尾碼為 |
|
| |
EMR File 支援將任意類型檔案上傳為File資源,實際使用時請以各引擎支援情況為準。 | |||
Ray File 用於Serverless Ray節點的依賴檔案(如多檔案Python作業、配置或資料檔案)。在節點中通過 | |||
CDH Jar 編譯好的Java JAR包,用於運行Java程式。尾碼為 |
|
| |
CDH File 支援將任意類型檔案上傳為File資源,實際使用時請以各引擎支援情況為準。 | |||
Flink Jar 編譯好的Java JAR包,用於運行Java程式。尾碼為 |
|
| |
Flink File 支援將任意類型檔案上傳至Flink,可用於Flink JAR和Flink Python節點的附加依賴檔案、Python Libraries等。 |
| ||
Flink Python 支援上傳 |
| ||
函數
支援通過使用資源來建立MaxCompute 、EMR、CDH和Flink函數,這些函數可在資料開發和SQL查詢中使用。
功能入口
進入DataWorks工作空間列表頁,在頂部切換至目標地區,找到目標工作空間,單擊操作列的快速進入> Data Studio,進入Data Studio。
在左側導覽列單擊
,進入資源管理頁面。在資源管理頁面,單擊
表徵圖進行建立資源或函數。您也可以先建立目錄,規劃資源管理目錄後,再按右鍵相應目錄,選擇新建,建立資源或函數。
建立管理資源與函數
其他動作
複製資源與函數
您可以通過複製已有資源與函數快速建立新的資源與函數。
在左側資源管理中,按右鍵需要複製的資源或函數,在快顯功能表中選擇克隆。
在彈窗中修改名稱和路径(或保留預設值),單擊確認開始複製。
複製完成後,您可以在資源管理中查看複製好的資源或函數,並編輯或修改其他參數資訊。
版本管理
您可以通過版本管理的查看與對比功能,快速分析資源或函數版本差異並進行調整。
在左側資源管理中,雙擊需要查看並進行版本管理的資源或函數名稱,進入資源或函數編輯頁。
單擊資源或函數編輯頁右側的版本,在版本頁面查看和管理开发记录及发布记录資訊。
查看版本:
您可以在开发记录或发布记录頁簽中,找到需要查看的資源或函數版本。
單擊操作欄中的查看,進入詳情頁查看資源或函數代碼資訊。
對比版本:
您可以在开发记录或发布记录頁簽中,對不同版本的資源或函數進行對比。下面以開發記錄為例,為您示範對比操作。
開發或發布環境對比:在开发记录頁簽中,勾選兩個版本,單擊上方的选择对比按鈕,即可對比不同版本的資源或函數代碼內容和調度配置資訊。
開發與發布或構建環境對比:
在开发记录頁簽中,定位到資源或函數的某個版本。
單擊操作欄中的對比按鈕,在詳情頁中選擇與发布记录或构建记录中的某個版本進行對比。
下载版本:
僅支援下載發行資源檔案开发记录中的檔案版本。您可在开发记录頁簽中找到目標版本,單擊操作欄中的下载按鈕,即可將該資源檔下載到本地。