當您需要將上遊節點任務的查詢或輸出結果提供給下遊節點使用時,可通過賦值節點實現。賦值節點(即上遊節點)支援 ODPS SQL、Python 2和Shell三種語言,會自動將最後一條查詢或輸出結果賦值給節點內建的輸出參數(outputs),下遊節點可以通過引用該參數來擷取賦值節點的輸出結果。
適用範圍
版本限制:僅支援DataWorks標準版及以上版本。
許可權限制:RAM帳號已被添加至對應工作空間中,並具有開發或空間管理員角色許可權。詳情請參見為工作空間增加空間成員。
核心概念:參數的傳遞與引用
賦值節點的核心是參數傳遞,負責將上遊節點產生的資料傳遞給下遊節點。
上遊賦值節點:負責產生資料。它會將最後一條輸出或查詢結果自動賦值給一個名為
outputs的節點輸出參數。下遊業務節點:負責接收和使用資料。通過在節點配置中添加一個本節點輸入參數(例如,
param),並讓它引用上遊節點的outputs參數,就可以在代碼中使用這些資料。
傳遞參數格式說明
賦值節點的傳遞參數格式說明如下:
賦值語言 | 傳遞參數範圍 | 傳遞參數格式 |
ODPS SQL | 擷取最後一行 | 將輸出結果作為一個二維數組傳遞至下遊。 |
Python 2 | 擷取最後一行 | 將輸出結果轉化成字串,並基於逗號( 例如,賦值節點最後一行輸出為 |
Shell | 擷取最後一行 |
操作步驟
下面以將 ODPS SQL 賦值節點的結果傳遞給 Shell 節點為例,介紹通用的操作流程。實際情境中,支援任意節點作為下遊節點。
配置上遊賦值節點
在商務程序中,建立並編輯一個賦值節點。在代碼編輯頁面,按需選擇 ODPS SQL、Python、Shell,並編寫代碼以產生需要傳遞給下遊的結果。
配置下遊 Shell 節點
建立Shell節點,在Shell節點的編輯頁面,引用上遊結果:
在 Shell 節點的編輯頁面,單擊右側的調度配置,選擇節點上下文頁簽。
在本節點輸入參數地區,單擊添加。
在彈出的對話方塊中,選擇上遊賦值節點的輸出參數
outputs,並為當前節點的輸入參數自訂一個參數名稱(例如:param)。配置完成後,下遊節點會自動與上遊賦值節點建立依賴關係。
完成參數配置後,即可在下遊 Shell 節點的代碼中通過
${param}的格式來使用上遊傳遞過來的值。
運行驗證
雙擊商務程序名稱,在商務程序編輯頁面單擊工具列的運行表徵圖,運行商務程序,查看引用結果是否正確。您也可以將節點提交至生產環境後,進入生產環境營運中心執行煙霧測試 (Smoke Test)操作,測試回合結果。
注意事項
傳遞層級:賦值節點參數只能傳遞給直接下遊的一層子節點,不支援跨層級的節點傳遞。
傳遞大小限制:傳遞值最大為2MB。如果指派陳述式的輸出結果超過該限制,賦值節點會運行失敗。
文法限制:
賦值節點代碼中不支援添加註釋,否則可能導致運行結果異常。
ODPS SQL模式下暫不支援WITH文法。
使用樣本:分語言詳解
不同語言的賦值節點,其輸出結果(outputs)的資料格式和下遊節點的引用方式略有不同。
樣本一:傳遞 ODPS SQL 查詢結果
SQL的查詢結果會作為一個二維數組傳遞給下遊。
上遊節點(賦值節點-SQL)配置
假設SQL代碼如下,查詢返回兩行兩列的資料:
SELECT 'beijing', '1001' UNION ALL SELECT 'hangzhou', '1002';下遊節點(Shell節點)配置和輸出
在Shell節點中添加名為
region的輸入參數,並引用上遊SQL節點的outputs。編寫如下代碼讀取資料:
echo "整個結果集: ${region}" echo "第一行: ${region[0]}" echo "第一行第二個欄位: ${region[0][1]}"DataWorks將直接解析參數,並做靜態替換。運行輸出如下:
整個結果集: beijing,1001 hangzhou,1002 第一行: beijing,1001 第一行第二個欄位: 1001
樣本二:傳遞 Python 2 輸出結果
Python 2的print語句輸出結果會基於逗號,分割,並作為一個一維數組傳遞給下遊。
上遊節點(賦值節點-Python 2)配置
Python 2代碼如下:
print 'Electronics, Clothing, Books';下遊節點(Shell節點)配置和輸出
在Shell節點中添加名為
types的輸入參數,並引用上遊賦值節點的outputs。編寫如下代碼讀取資料:
# 直接輸出整個一維數組 echo "整個結果集: ${types}" # 按索引輸出數組中的元素 echo "第二個元素: ${types[1]}"DataWorks將直接解析參數,並做靜態替換。運行輸出如下:
整個結果集: Electronics,Clothing,Books 第二個元素: Clothing
Shell節點處理邏輯和Python 2類似,不再重複說明。
常見問題
Q:在ODPS SQL語言下,報錯“find no select sql in sql assignment!”。
A:ODPS SQL缺少Select語句,請添加Select語句。暫不支援WITH語句,若使用WITH語句,也會報此錯誤。
Q:在Shell、Python語言下,輸出不符合預期。
A :檢查元素本身是否帶有逗號,可先在賦值節點處對元素轉義,再在下遊節點進行複原。
Q:下遊節點支援上遊配置多個賦值節點來接收多個結果嗎?
A :支援,只需給不同節點結果賦值不同的參數即可。
Q:賦值節點支援其他語言類型嗎?
A:賦值節點目前僅支援ODPS SQL、Python 2和Shell三種語言,部分節點(如EMR Hive、Hologres SQL、EMR Spark SQL、AnalyticDB for PostgreSQL、ClickHouse SQL和MySQL節點等)自身支援賦值參數功能,可實現與賦值節點相同的效果。
相關文檔
當下遊是遍曆節點(for-each)或迴圈節點(do-while)時,請參見配置for-each節點、配置do-while節點配合使用。