全部產品
Search
文件中心

DataWorks:參數節點

更新時間:Feb 07, 2025

參數節點是一種特殊的虛擬節點,用於管理商務程序中的參數並實現參數在任務節點中傳遞,支援常量參數、變數參數和透傳上遊節點的參數,需要引用參數的節點直接依賴參數節點即可。本文為您介紹如何建立參數節點,引導您高效使用DataWorks進行資料開發。

節點介紹

參數節點本質上是一種虛擬節點,不會運行資料計算任務產生資料,主要用於跨節點傳參、參數管理等情境。

  • 跨節點傳參。

    當資料開發的商務程序中,某個下遊節點的任務需要擷取多個、多級上遊節點的輸出參數時,您可以使用參數節點,將下遊節點需要擷取的所有參數統一添加至參數節點中,後續下遊節點可直接掛在參數節點之下,即可擷取到所有所需參數。

    以上圖為例,Sq_MySQL_G節點需要擷取Sq_MySQL_BSq_MySQL_E節點的輸出參數,可以通過參數節點,作為Sq_MySQL_BSq_MySQL_E節點的下遊節點,並將Sq_MySQL_G所需的參數都添加至參數節點內,然後將Sq_MySQL_G作為參數節點的下遊接收參數節點的輸出參數,實現Sq_MySQL_G通過參數節點擷取到Sq_MySQL_BSq_MySQL_E的參數。

  • 參數管理。

    當資料開發的商務程序中,下遊節點的任務需要使用某些常量參數、變數參數時,您可以使用參數節點,將下遊節點需要使用的參數均添加至參數節點中,需使用參數的下遊節點直接掛在參數節點之下,即可擷取所需參數,便於整個商務程序中對所有使用的參數進行統一管理。

    以上圖為例,Sq2_MySQL_ASq2_MySQL_CSq2_MySQL_DSq2_MySQL_ESq2_MySQL_F節點均需使用參數,即可通過參數節點,擷取上遊節點的輸出參數,以及配置相應的變數參數或常量參數,作為需要使用這些參數的上遊節點。

前提條件

  • RAM帳號添加至對應空間(可選)。

    進行任務開發的RAM帳號已被添加至對應工作空間中,並具有開發空間管理員(許可權較大,謹慎添加)角色許可權。新增成員並授權,詳情請參見為工作空間增加空間成員

  • 對應空間已綁定Serverless資源群組。詳情請參見:使用Serverless資源群組

  • 進行參數節點開發前,需建立對應的參數節點,詳情請參見:建立任務節點

注意事項

某任務節點引用參數節點中的參數時,需處於參數節點的直接下遊,將參數節點作為本節點的上遊依賴。

步驟一:參數節點開發

參數節點內可以建立常量、變數以及透傳變數,以下為這三種參數的配置方式:

新增常量參數

常量參數取值為一個固定值,可直接在參數節點裡進行配置

  1. 開啟參數節點編輯頁面,單擊左上方的新增參數按鈕,進行新增參數。

  2. 配置常量參數:

    配置項

    配置說明

    參數名稱

    自訂參數名稱。

    說明

    用於下遊節點添加參數時選擇使用。

    參數類型

    常量。

    取值

    按業務需求自訂常量。

    描述

    根據業務需求對該參數的說明描述。

  3. 配置完常量參數後,單擊操作列的儲存,即可儲存該參數。

    image

新增變數參數

參數取值為變數,如果您需要使用系統時間等這類變數參數時,添加參數的參數類型需選擇為變數。

  1. 開啟參數節點編輯頁面,單擊左上方的新增參數按鈕,進行新增參數。

  2. 組態變數參數:

    配置項

    配置說明

    參數名稱

    自訂參數名稱。

    說明

    用於下遊節點添加參數時選擇使用。

    參數類型

    變數。

    取值

    按業務需求自訂變數。

    說明

    變數參數的詳細介紹可參見調度參數支援的格式

    描述

    根據業務需求對該參數的說明描述。

  3. 配置完常量參數後,單擊操作列的儲存,即可儲存該參數。

    image

新增透傳變數參數

透傳變數主要用於將上遊節點的產出參數透傳至下遊節點,參數取值可選擇參數節點調度依賴中上遊依賴節點的所有輸出參數。

  1. 進入參數節點編輯頁面,單擊右側調度配置,在調度配置 > 調度依賴 > 節點依賴配置中單擊新增依賴,將需要透傳參數至下遊的節點配置為上遊依賴。

    image

  2. 配置完依賴後,切換至調度參數中,單擊添加參數,配置詳情如下:

    1. 自訂新增的參數名稱。

    2. 單擊image按鈕,對上遊節點的輸出參數進行搜尋綁定。image

  3. 配置完成參數後,關閉調度配置,然後在參數節點頁面,單擊新增參數,進行配置:

    配置項

    配置說明

    參數名稱

    自訂參數名稱。

    說明

    用於下遊節點添加參數時選擇使用。

    參數類型

    透傳變數。

    取值

    下拉選擇在調度配置添加綁定的上遊參數。

    描述

    根據業務需求對該參數的說明描述。

  4. 配置完常量參數後,單擊操作列的儲存,即可儲存該參數。

    image

完成參數節點的參數配置後,需對參數節點進行調度配置,詳情請參見調度配置

步驟二:下遊節點使用參數

完成參數節點的配置後,您可以在下遊節點中直接使用參數節點中的參數,統一管理參數,提高下遊節點任務開發效率。

說明

參數節點下遊節點使用參數時,需在下遊節點的調度參數中新增參數來綁定參數節點。

  1. 綁定上遊參數節點參數。

    1. 進入參數節點編輯頁面,單擊右側調度配置,在調度配置 > 調度依賴 > 節點依賴配置中單擊新增依賴,將需要參數節點配置為上遊依賴。

      image

    2. 配置完依賴後,切換至調度參數中,單擊添加參數,配置詳情如下:

      1. 自訂新增的參數名稱。

      2. 單擊image按鈕,對上遊參數節點的輸出參數進行搜尋綁定。

        image

  2. 配置完參數後,在節點指令碼編輯時,即可通過${參數名}擷取使用從參數節點內傳遞而來的參數。

步驟二:節點發布與營運

  1. 完成調度配置後,即可對已完成的參數節點以及其上下遊節點提交發布至生產環境,詳情請參見:節點發布

  2. 發布完成的任務,將按照您配置的調度進行周期運行,可在營運中心 > 任務營運 > 周期任務營運 > 周期任務中查看發行的周期任務,並對任務進行營運操作,詳情請參見:營運中心入門