全部產品
Search
文件中心

DataWorks:調度依賴方式選擇(同周期依賴)

更新時間:Mar 13, 2025

依賴同周期某節點,是指本節點本周期運行,依賴上遊節點當前周期的資料產出情況(即任務執行情況),待上遊當前周期執行個體執行成功後,本節點才會運行。通常,若當前任務需依賴上遊任務同周期產出的表資料時,可為當前任務設定依賴該上遊任務的同周期任務。DataWorks提供多種同周期依賴配置方式,並支援依賴預覽功能,您可及時查看並調整有誤依賴,保障任務調度符合預期。本文為您介紹同周期依賴的注意事項、配置原理、配置方式等內容。

注意事項

  • 為保障調度依賴過程流暢,您需先瞭解調度配置

  • 同周期依賴在DataWorks的DAG圖中以實線的形式展示。

  • 部分複雜情境下,當同周期依賴不滿足預期時,您可設定跨周期依賴。例如,天任務依賴小時任務的情境下,天任務預設依賴小時任務當天所有執行個體。您可通過小時任務自依賴,實現天任務依賴小時任務指定周期。更多複雜情境依賴介紹,詳情請參見複雜依賴情境調度配置原則與樣本

配置原則

為提升任務開發效率,建議您在實際開發中使用自動解析依賴功能快速為節點設定依賴關係。基於自動解析進行實際開發時,請遵循以下原則:

  • 節點建立建議節點名稱與節點產出表名稱一致。

  • 代碼開發避免多個節點寫入資料至同一張表。

  • 依賴配置建議將節點產出表配置為節點的輸出。

配置入口及配置說明

進入資料開發節點的編輯頁面,單擊右側導覽列的調度配置,在調度依賴地區配置節點的依賴關係。

配置節點同周期依賴關係時,需在依賴的上遊節點地區,定義當前任務需要依賴哪些上遊任務;在本節點輸出名稱地區,定義其他任務可通過本節點的哪些節點輸出掛載當前節點的依賴關係。

說明
  • 在代碼編輯時,預設基於節點查詢及寫入的表血緣快速為節點設定依賴關係,並且會在節點提交時自動檢測與識別當前依賴關係是否符合資料血緣。您也可根據業務需要,選擇是否啟用提交任務前進行代碼自動解析功能。

  • 平台提供基於代碼血緣自動解析商務程序面板拉線手動添加等多種方式配置依賴關係,您可按需選擇。

  • 若本節點需依賴上遊昨天產出的資料,或小時、分鐘任務依賴自己上一小時或分鐘執行個體,可設定跨周期依賴。

imageimage

依賴的上遊節點

用於定義本節點的上遊節點,依賴配置後,上遊節點運行成功後本節點才具備運行條件。此處需填寫上遊節點的節點輸出,作為本節點的輸入。配置依賴的上遊節點時請注意:

  • 所有節點都需要配置依賴的上遊節點:建議根據表血緣關係配置,若無表血緣關係,可基於業務需求選擇依賴工作空間根節點或虛擬節點。

  • 請確保依賴的上遊節點已提交:提交任務時,若報錯依賴的上遊節點輸出不存在,請確保所需依賴的上遊節點已提交。

配置方式:

方式一:自動解析依賴

DataWorks從代碼解析輸出表名projectName.tableName,系統根據對應輸出表名搜尋並推薦需要依賴的節點。

image

方式二:手動添加

單擊新增依賴按鈕,選擇不同的依賴方式後,根據名稱輸出名調度任務ID來手動搜尋對應的上遊依賴。

image

說明

使用自動解析依賴時,需確保依賴的上遊任務已提交發布至生產環境,並真實產出該表資料。被推薦的節點需在前一天提交至調度系統,待第二天資料產出後,才可被自動推薦功能識別。因此,自動推薦的節點存在T+1的延遲。

本節點輸出

本節點的輸出是其他節點與本節點建立依賴關係的媒介。其他節點可通過本節點的輸出名稱找到本節點,並通過調度依賴配置,將本節點設定為它的上遊節點。下遊節點設定當前節點依賴後,待下遊節點提交完成,當前節點對應的節點輸出將展示該下遊節點名稱。DataWorks不支援手動在節點輸出介面編輯下遊節點。配置方式如下圖。

說明

若工作空間存在同名節點,可能導致節點輸出同名而提交失敗。刪除已存在下遊依賴的節點輸出可能造成嚴重影響,詳情請參見:刪除或變更節點輸出的影響

方式一:預設產生

DataWorks會預設產生一個節點輸出,可通過單擊修改對輸出表名進行修改。

image

說明

輸出名為全域唯一,不支援修改或刪除,通過工作流程面板拉線設定依賴時,DataWorks將自動產生一個輸出表名與輸出名作為下遊節點的輸入。

方式二:手動添加

在節點輸出配置模組,單擊添加輸出,可手動新增一條本節點輸出,並自行配置輸出名與輸出表名。

image

說明

輸出名以空間名.自訂配置樣式命名,需保證全域唯一性。

配置原理

調度依賴配置是將上遊節點的輸出作為下遊節點的輸入,形成節點依賴,建議您根據節點查詢及寫入的表血緣設定節點的調度依賴關係。配置完成後,上遊節點運行完成且運行成功,下遊節點才會啟動運行,保障調度任務在運行時能擷取到正確的資料。

您可通過如下三種方式配置,無論哪種方式,其原理不變。

配置方式

說明

通過工作流程面板拉線設定節點依賴

該方式下,DataWorks將自動為下遊節點添加上遊節點的預設輸出,形成節點依賴。

通過自動解析功能基於設定節點依賴

該方式下,DataWorks將自動解析節點代碼中的表血緣,通過血緣關係配置調度依賴。

通過調度配置介面手動添加上遊節點依賴

通常,當通過自動解析產生的節點調度依賴配置與實際應用不符時,您可使用該方式修改調度依賴。

配置方式

通過工作流程面板拉線設定節點依賴

在工作流程面板中使用拉線的方式設定依賴關係時,DataWorks將自動為下遊節點添加上遊節點的預設輸出作為自身節點的輸入,形成節點依賴。

說明
  • 平台將上遊節點的輸出參數自動輸出至下遊節點。

  • 當商務程序面板中的依賴連線刪除後,節點調度配置中也會同步刪除該依賴關係。

通過調度配置介面手動添加上遊節點依賴

在調度配置介面,可根據不同的依賴方式(同周期依賴、跨周期依賴、跨周期自依賴以及跨周期一級子節點依賴)通過依賴對象的名稱、輸出名以及ID來過濾篩選需要添加的上遊依賴。

image

通過自動解析功能基於設定節點依賴

DataWorks支援通過節點代碼中的表血緣快速設定節點依賴,在配置調度設定時,單擊從代碼解析輸入輸出,可根據編輯區的最新代碼,自動解析代碼並推薦出要依賴的上遊節點。

image

後續:確認依賴是否符合預期

配置完成後,為保障任務調度符合預期,您可通過以下操作驗證配置是否正確:

  • 提交檢查:提交節點時確認依賴變更是否符合預期。

  • 周期任務依賴確認:節點發布後,需在營運中心確認生產調度任務的依賴是否符合預期。周期任務為生產環境該任務的最新狀態,同時,周期執行個體的執行個體依賴關係與執行個體產生方式有關。

附錄

附錄一:刪除或變更節點輸出的影響

當節點產出的表資料變更導致節點輸出的變更,或直接手動修改節點輸出時,請注意以下內容:

  • 刪除節點輸出對節點產出的表資料無直接影響。

  • 若節點輸出已存在下遊依賴,此時變更或刪除可能會對下遊任務產生嚴重影響。

    • 節點產出表刪除:當自動解析的節點輸出,由於節點產出表變更導致節點輸出變更時,可能會導致下遊變為情境二:孤立節點不被調度,或由於下遊任務缺少資料依賴導致下遊被資料汙染。

    • 節點產出表變更當前節點產出的表需轉移至其他節點。

    若某節點輸出存在下遊依賴,刪除該輸出名稱時,建議提前與下遊任務的責任人進行溝通,告知其當前任務的某個輸出要刪除,請及時調整下遊任務的依賴關係,避免下遊任務變為孤立任務。