全部產品
Search
文件中心

Dataphin:上傳資源及引用

更新時間:Jan 25, 2025

資源管理用於儲存、管理代碼研發過程中所需的檔案,如JAR、JSON、Python等資源檔。本文為您介紹如何建立資源及引用。

建立資源

  1. 在Dataphin首頁,單擊頂部功能表列研發

  2. 按照以下操作指引,進入建立資源對話方塊。

    選擇專案(Dev-Prod模式需要選擇環境)->單擊資源->單擊建立image表徵圖。

    image

  3. 建立資源對話方塊中,配置參數。

    參數

    描述

    類型

    選擇上傳檔案的類型。系統預設支援上傳file(.xls, .xlsx, .doc, .docx, .txt, .csv)、archive(.zip, .tgz, .tar.gz, .tar, .jar)、jarPythoncplus類型檔案及其他(others)。

    • file:文本類型檔案。通常用於任務需要讀取的資料資訊。

    • archive:壓縮包類型檔案。通常用於任務依賴的壓縮包。

    • Python:Python類型檔案。通常用於Python任務依賴的資源檔。

    • cplus:C++原始碼檔案類型。通常用於Impala任務註冊UDF。

    名稱

    填寫資源的名稱。命名規則如下:

    • 資源的名稱在專案內不可重複且不可以數字開頭。

    • 名稱由數字、字母、底線(_)、短劃線(-)或半形句號(.)組成。

    • 名稱長度最多200個字元且不少於3個字元。

    描述

    填寫對資源簡單的描述,1000個字元以內。

    上傳檔案

    根據已選的類型,選擇上傳檔案

    計算類型

    選擇資源的計算類型。

    • 計算引擎:選擇計算引擎時,系統會將該資源上傳到專案綁定的計算引擎上。例如,MaxCompute。通常用於建立計算引擎的UDF,上傳JAR檔案時,系統會調用引擎的add jar xxx.jar命令。

    • 無歸屬引擎:選擇無歸屬引擎時,資源將會只上傳到Dataphin。通常用於上傳需要使用的文本資源檔。例如filearchive等類型。

    選擇目錄

    選擇資源所存放的目錄。若無所需目錄,您可按照下圖操作指引,填寫您目錄名稱和選擇目錄所在位置進行建立。image

  4. 單擊提交

  5. 提交備忘對話方塊中,填寫資源的備忘說明,128個字元以內。

  6. 單擊確定並提交,完成資源的建立。

    說明

    如果專案的模式為Dev-Prod,則您需要發布資源至生產環境。具體操作,請參見管理髮布任務

引用資源

支援的引用方式

  • 完成資源上傳後,您可以按照下圖操作指引快捷的複製該資源的引用語句,進行計算任務的開發。

    image

  • 您也可以在計算任務中直接使用@resource_reference{"資源名稱"}語句進行引用。

引用語句說明

@resource_reference{"資源名稱"}引用語句,可以理解為將資源的檔案路徑進行變數的定義。例如,以下Python代碼案例:

@resource_reference{"dataphin.xls"} # 引用dataphin.xls資源

# 匯入xlrd模組。
import xlrd
wb = xlrd.open_workbook('dataphince.xls') # 開啟excel
sh = wb.sheet_by_name('Sheet1') # 按活頁簿定位工作表

# 遍曆excel,列印所有資料
for i in range(sh.nrows):
    print(sh.row_values(i))

@resource_reference{"dataphin.xls"} 語句等同於dataphin.xls = "/path/to/dataphin.xls"語句,在後續的代碼中,可以使用上傳的資源名稱(即變數名)dataphin.xls進行該資源的使用。