Python節點支援Python3文法(不支援Python2文法),您可以在該節點中直接使用Python代碼,並進行作業的周期性調度。本文為您介紹如何通過DataWorks實現Python任務的配置和調度。
前提條件
RAM帳號添加至對應空間(可選)。
進行任務開發的RAM帳號已被添加至對應工作空間中,並具有開發或空間管理員(許可權較大,謹慎添加)角色許可權。新增成員並授權,詳情請參見為工作空間增加空間成員。
對應空間已綁定Serverless資源群組。詳情請參見:使用Serverless資源群組。
進行Python節點開發前,需建立對應的Python節點,詳情請參見:建立周期任務。
注意事項
運行該任務時,若使用Serverless資源群組,單任務支援最大配置
64CU,但建議不超過16CU,以避免CU過大導致資源不足,影響任務啟動。Python節點僅具備Python代碼基礎運行環境,如您需要在Python代碼中引用第三方包,請建立自訂鏡像,在鏡像中安裝相關依賴後,再運行Python節點。
開發Python節點
Python節點開發。
通用Python節點中的參數無需聲明參數名,以
sys.argv[參數序號](參數序號由小到大,依次遞增)擷取調度參數,在調度參數中配置參數值,多個參數取值使用空格分隔。
例如,本樣本中:
sys.argv[1]賦值目前時間:$[yyyymmdd]。sys.argv[2]手動賦值為固定值:Hello DataWorks。
說明如需擷取上遊節點的輸出參數,您需要在中添加參數,設定參數值為上遊節點的輸出參數。
完成代碼開發後,在右側單擊調試配置,選擇調試運行所需的資源群組、調度參數等配置後,即可單擊
運行按鈕,對代碼進行測試回合。說明Python節點的調試和調度僅支援使用Serverless資源群組,請確保當前工作空間已綁定Serverless資源群組。
完成Python節點指令碼開發與測試後,需對Python節點進行調度配置,以實現Python節點的周期運行。
完成任務調度配置後,需對節點進行儲存後,才可進行下一步操作。
節點發布與營運
通過Python節點訪問OSS或NAS上的資料
DataWorks支援建立OSS或NAS類型的資料集,然後在Python節點開發中使用資料集,實現Python節點運行過程中讀寫OSS或NAS儲存中的資料。
調用Python代碼
個人開發環境支援Python編程,如需使用個人開發環境調試Python節點任務,詳情請參見個人開發環境。