全部產品
Search
文件中心

DataWorks:Python節點

更新時間:Jul 29, 2025

Python節點支援Python3文法(不支援Python2文法),您可以在該節點中直接使用Python代碼,並進行作業的周期性調度。本文為您介紹如何通過DataWorks實現Python任務的配置和調度。

前提條件

  • RAM帳號添加至對應空間(可選)。

    進行任務開發的RAM帳號已被添加至對應工作空間中,並具有開發空間管理員(許可權較大,謹慎添加)角色許可權。新增成員並授權,詳情請參見為工作空間增加空間成員

  • 對應空間已綁定Serverless資源群組。詳情請參見:使用Serverless資源群組

  • 進行Python節點開發前,需建立對應的Python節點,詳情請參見:建立周期任務

注意事項

  • 運行該任務時,若使用Serverless資源群組,單任務支援最大配置64CU,但建議不超過16CU,以避免CU過大導致資源不足,影響任務啟動。

  • Python節點僅具備Python代碼基礎運行環境,如您需要在Python代碼中引用第三方包,請建立自訂鏡像,在鏡像中安裝相關依賴後,再運行Python節點。

開發Python節點

  1. Python節點開發。

    通用Python節點中的參數無需聲明參數名,以sys.argv[參數序號](參數序號由小到大,依次遞增)擷取調度參數,在調度參數中配置參數值,多個參數取值使用空格分隔。

    image

    例如,本樣本中:

    • sys.argv[1]賦值目前時間:$[yyyymmdd]

    • sys.argv[2]手動賦值為固定值:Hello DataWorks

    說明

    如需擷取上遊節點的輸出參數,您需要在調度配置 > 節點上下文參數 > 節點輸入參數中添加參數,設定參數值為上遊節點的輸出參數。

  2. 完成代碼開發後,在右側單擊調試配置,選擇調試運行所需的資源群組、調度參數等配置後,即可單擊image運行按鈕,對代碼進行測試回合。

    說明

    Python節點的調試和調度僅支援使用Serverless資源群組,請確保當前工作空間已綁定Serverless資源群組

  3. 完成Python節點指令碼開發與測試後,需對Python節點進行調度配置,以實現Python節點的周期運行。

  4. 完成任務調度配置後,需對節點進行儲存後,才可進行下一步操作。

節點發布與營運

  1. 完成調度配置後,即可對已完成的Python節點提交發布至生產環境,詳情請參見:節點/工作流程發布

  2. 發布完成的任務,將按照您配置的任務調度進行周期運行,可在營運中心 > 任務營運 > 周期任務營運 > 周期任務中查看發行的周期任務,並對任務進行營運操作,詳情請參見:營運中心入門

通過Python節點訪問OSS或NAS上的資料

DataWorks支援建立OSS或NAS類型的資料集,然後在Python節點開發中使用資料集,實現Python節點運行過程中讀寫OSS或NAS儲存中的資料。

調用Python代碼

個人開發環境支援Python編程,如需使用個人開發環境調試Python節點任務,詳情請參見個人開發環境