依賴上一周期,是指本節點本次執行個體運行,依賴相應節點上一周期執行個體的運行情況,待上一周期執行個體運行成功後,本節點才會運行。通常,若本節點需依賴上遊昨天產出的資料,或小時、分鐘任務依賴自己上一小時或分鐘執行個體,可設定跨周期依賴。本文為您介紹跨周期依賴的配置及依賴形式。
注意事項
配置依賴上一周期的注意事項如下:
類別 | 描述 | 相關參考 |
跨周期依賴圖例展示 | 跨周期依賴在DataWorks的DAG圖中以虛線的形式展示。 | |
已設定跨周期依賴某節點時,請確認是否還存在並需要同周期依賴 | 配置依賴關係後,下遊依賴的所有上遊任務均需執行完成,下遊任務才會執行。 由於同周期依賴自動解析功能預設開啟,若已設定跨周期依賴,請確認是否還需設定同周期依賴,若不需要,則需刪除同周期自動解析產生的依賴關係,以免影響下遊正常運行。 | |
複雜情境是否需設定跨周期依賴 | 部分情境下,當同周期依賴不滿足預期時,您可設定跨周期依賴。 例如,天任務依賴小時任務的情境下,天任務預設依賴小時任務當天所有執行個體。 | |
預覽節點依賴關係 | 為避免生產調度任務由於依賴關係不符合預期導致生產調度延遲,建議在發布任務前,通過該功能確認各周期執行個體關係是否符合預期。 | |
任務發布說明 | 跨周期依賴的上下遊任務,請確保均發行至生產環境,發布後才可在生產環境營運中心查看該環境的依賴關係。 |
配置入口
進入資料開發節點的編輯頁面,單擊右側導覽列的調度配置,切換至調度依賴頁簽單擊新增依賴,將依賴方式切換為跨周期依賴後,再根據需求,通過名稱、輸出名或ID來搜尋該節點需要跨周期依賴的上遊節點。
依賴形式
依賴形式 | 節點依賴關係 | 業務情境 |
依賴上一周期:本節點(自依賴) | 本節點本次執行個體運行,依賴於本節點上一周期的執行個體運行結果。即本次節點是否運行,取決於本節點上一周期的執行個體是否運行成功。 | 本節點本次執行個體運行,取決於本節點上一周期業務資料的產出情況。 |
依賴上一周期:一級子節點 | 本節點本次執行個體運行,取決於下遊節點上一周期的執行個體運行情況。即本次節點是否運行,取決於該節點的下遊節點在上一周期的執行個體是否運行成功。 | 本節點本次執行個體的運行,依賴於該節點的下遊節點在上一周期對本節點上一周期結果表(即本節點輸出表)資料的清洗結果是否成功。 |
依賴上一周期:其他節點 | 本節點本次執行個體的運行,依賴於其他節點在上一周期的執行個體運行結果。即本次節點是否運行,取決於其依賴的其他節點在上一周期執行個體是否運行成功。 | 本節點本次執行個體運行,在商務邏輯上需要依賴其他業務的資料,但本節點中不包含涉及其他業務資料的相關操作。 |
依賴上一周期:本節點(自依賴)
本節點本次執行個體運行,取決於本節點上一周期業務資料的產出情況,依賴關係如下:
小時調度依賴於本節點的上一周期。
天調度依賴於本節點的上一周期。
依賴關係設定:
進入A節點開發頁面,單擊調度配置,進入調度依賴配置頁面。
單擊節點依賴配置模組的新增依賴按鈕,進入手動搜尋依賴對象彈窗內,進行如下配置:
依賴方式:下拉選擇跨周期自依賴,單擊添加按鈕,將上一周期的A節點添加為上遊依賴。
單擊儲存按鈕,儲存配置好的依賴。
小時、天任務不同周期執行個體的執行結果相互影響。
當天任務依賴小時、分鐘任務時,小時、分鐘任務是否設定自依賴,會影響天任務的執行時間。
小時、分鐘任務未設定自依賴。
天任務預設依賴小時、分鐘任務當天所有執行個體,即天任務會對小時、分鐘任務當天產出的所有表資料進行匯總加工。
小時、分鐘任務設定自依賴。
天任務根據掛載依賴:就近原則,掛載距離自己定時時間最近的某個小時、分鐘執行個體,而非依賴當天所有小時、分鐘執行個體。
具體依賴情況,詳情請參見附錄一:複雜依賴情境匯總。
依賴上一周期:一級子節點
本節點本次執行個體運行,依賴其下遊節點上一周期對本節點上一周期表資料的加工結果。
依賴關係設定:
進入C節點開發頁面,單擊調度配置,進入調度依賴配置頁面。
單擊節點依賴配置模組的新增依賴按鈕,進入手動搜尋依賴對象彈窗內,進行如下配置:
依賴方式:下拉選擇跨周期一級子節點依賴。系統會自動按照編輯區最新代碼,搜尋查詢新的待添加依賴節點,在待添加依賴節點中選擇A與B節點。
單擊儲存按鈕,儲存配置好的依賴。
圖示說明:
C1執行個體說明:
加工:T-2日分區的A執行個體與B執行個體的輸出表資料。
產出:T-1日分區的C1表資料。
A1與B1執行個體說明:
加工:T-1日的執行個體C1產出的表資料。
產出:T-1日的A1表資料和B1表資料。
C2執行個體說明:
加工:T-1日分區的A1執行個體與B1執行個體的輸出表資料。
產出:T日分區的C2表資料。
A2與B2執行個體說明:
加工:T日的執行個體C2產出的表資料。
產出:T日的A2表資料和B2表資料。
依賴上一周期:其他節點
本次節點是否運行,取決於其他節點在上一周期執行個體是否運行成功。
依賴關係設定:
進入B節點開發頁面,單擊調度配置,進入調度依賴配置頁面。
單擊節點依賴配置模組的新增依賴按鈕,進入手動搜尋依賴對象彈窗內,進行如下配置:
依賴方式:下拉選擇跨周期依賴。
依賴對象:通過下拉選擇名稱,查詢選擇不屬於A、B、C三個節點群組成的工作流程中的其他節點D。
選擇D節點為B節點的跨周期依賴的上遊。
圖示說明:節點A、B為節點C的兩個下遊節點,依賴其他節點是指節點B依賴D節點在上一周期的運行結果(圖中樣本當前周期為T,上一周期為T-1)。當D節點上一周期執行個體運行成功時,本次節點B才會啟動運行。
預覽依賴關係
配置完成後,您可預覽該節點配置的依賴關係,詳情請參見:後續:確認依賴是否符合預期。