全部產品
Search
文件中心

DataWorks:管理周期任務

更新時間:Mar 25, 2025

周期任務是指調度系統按照調度配置自動定時啟動並執行任務。您可以在營運中心的周期任務頁面查看當前工作空間下的定時調度工作清單及生產環境中的調度任務配置詳情,並進行管理。

背景資訊

在DataWorks中,周期任務是按計劃自動調度的任務,使用者可以通過周期任務管理介面查看所有按計劃調度的任務。這些任務既可手動運行也可自動運行:手動運行時可以使用補資料測試功能產生補資料執行個體或測試執行個體,進行特定的資料處理或調試。通過自動調度配置的周期任務會在達到指定條件時自動建立新的周期執行個體並執行(每晚23:30會產生第二天待啟動並執行周期執行個體)。

直接在生產環境變更周期任務的操作一般會反映到變更操作後產生的執行個體上。大部分周期任務的修改操作將會在下一個自動調度時間點生效(即今天的周期執行個體是前一晚23:30產生的),並在預定的時間點執行。而補資料執行個體是基於當前周期任務配置立即產生的,並在手動觸發後立即生效。關於建立、發布、運行、暫停調度和下線等詳細營運操作,請參見周期任務基本營運操作

使用限制

僅DataWorks專業版及以上版本使用者才可以使用DAG圖的節點彙總、上遊分析、下遊分析功能。版本升級詳情請參見DataWorks版本服務計費說明

注意事項

  • 請勿操作工作空間名稱_root節點,該節點為工作空間根節點。周期任務的執行個體均依賴於該節點,如果凍結該節點,周期任務執行個體將無法運行。

  • 任務的變更均需執行發佈動作,發布成功後該變更才會在生產環境中生效。發布時可能存在發布失敗、發布流程被阻塞或發布版本不符合預期等情況,因此,建議您在任務發布後,進入營運中心 > 周期任務介面進行排查:

    • 通過DAG圖查看任務的上下遊依賴關係是否正確。

    • 通過節點詳情查看生產環境中該任務的參數配置等是否符合預期。

進入周期任務頁面

  1. 登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料開發與營運 > 營運中心,在下拉框中選擇對應工作空間後單擊進入營運中心

  2. 進入營運中心後,在左側導覽列,單擊周期任務營運 > 周期任務。進入周期任務頁面,查看周期工作清單或DAG圖。

查看周期任務

周期工作清單展示了提交到調度系統的任務,您可以通過智能搜尋條件式篩選兩種篩選方式定位所需查看的工作清單。

智能搜尋模式

通過周期任務的智能搜尋功能,您只需輸入搜尋內容,系統將自動解析並快速篩選出所需查看的工作清單。

  1. 進行智能搜尋。

    單擊周期任務篩選框中的智能搜尋按鈕,在彈出的對話方塊中輸入您要搜尋的內容,例如按任務類型進行排序,然後按Enter鍵確認,系統將自動匹配並顯示相關任務。

  2. 儲存新視圖。

    如果您後續需要使用智能搜尋中的任務搜尋條件,可以單擊搜尋欄中的未儲存視圖 > 另存新檔新視圖,在儲存視圖對話方塊中自訂視圖名稱,並單擊儲存。後續可在視圖搜尋欄中找到並使用該新視圖進行任務搜尋。

    說明

    如果您後續不想使用該新視圖進行任務搜尋,可以在視圖搜尋欄中找到您建立的視圖名稱。滑鼠懸浮在視圖名稱上,點擊右側的...按鈕,選擇編輯刪除視圖。

  3. 關閉智能搜尋。

    如果您需要通過條件式篩選進行精準搜尋,可以按Esc鍵或點擊任務操作欄中的關閉智能搜尋按鈕退出智能搜尋模式。

條件式篩選模式

使用周期任務的條件式篩選功能,您可以根據提供的篩選條件精準篩選出所需的工作清單。

  1. 簡單條件式篩選。

    您可在工具列中根據任務名稱/ID任務類型近180天到期開啟被引用等相關資訊,依次選擇多個篩選條件,篩選出所需查看的工作清單。

  2. 複雜條件式篩選。

    通過單擊周期任務篩選框中的篩選按鈕,您可以根據任務名稱/ID引擎類型基準優先順序等多種條件進行組合篩選,從而精確地找到所需的工作清單。

說明
  • 暫停(凍結)節點:凍結狀態的任務不會自動調度,並且會阻塞其下遊任務運行。即暫停(凍結)的周期任務將產生凍結狀態的執行個體,凍結狀態的執行個體將不會調度運行,並且會阻塞其下遊任務運行。

  • 孤立節點:指當前任務沒有依賴任何父節點,這類型任務不會自動調度運行,如果該孤立節點下遊依賴較多,則會影響下遊任務的運行。詳情請參見:情境:節點孤立

  • 到期節點:不在有效期間內的節點將不會產生執行個體,且不會運行。

操作周期任務

單個任務操作

若要操作某個周期任務,請在周期工作清單中找到該任務,並在任務操作欄中使用相應功能進行操作,具體功能說明如下:

功能

說明

DAG圖

DAG圖為您展示周期任務的上下遊依賴關係,您可以在DAG圖中對任務進行相關操作。詳情請參見:查看周期任務DAG圖

測試

用於測試周期任務的運行是否符合預期,執行測試操作後,將產生測試執行個體,您可以通過測試執行個體頁面查看此次測試工作的運行情況,詳情請參見執行測試並查看測試執行個體

說明

測試回合也會產生業務資料,請謹慎操作。

補資料

用於對周期任務執行補歷史資料或未來時間段資料的操作,執行補資料操作後將產生補資料執行個體,您可以通過補資料執行個體頁面查看此次補資料任務的運行情況,詳情請參見執行補資料並查看補資料執行個體(新版)

更多

暫停(凍結)

當任務及其下遊任務一段時間內不需要運行時,您可以選擇暫停(凍結)任務。

凍結狀態的周期任務產生的執行個體也是凍結狀態,凍結狀態執行個體不會執行,並且會阻塞其下遊執行。

說明

請勿操作工作空間名稱_root節點,該節點為工作空間根節點。周期任務的執行個體均依賴於該節點,如果凍結該節點,周期任務執行個體將無法運行。

恢複(解凍)

用於恢複凍結狀態的周期任務。

修改責任人

用於修改當前任務的責任人。

修改調度資源群組

用於修改調度任務運行所使用的調度資源群組。

修改標籤

可修改、新增以及解除綁定該調度任務資產的標籤,若需要對標籤進行統一管理,請前往標籤管理

配置品質監控

用於為當前任務配置品質監控規則,當任務運行時可以對資料進行校正。詳情請參見:資料品質概述

查看執行個體

單擊後將跳轉至當前任務產生的周期執行個體頁面。

查看血緣

用於查看當前任務的血緣資訊。

查看周期任務詳情

用於查看任務的基本屬性,相關參數介紹詳情請參見:查看節點詳情

添加規則監控

用於自訂警示規則,協助您監控周期任務每日的運行狀態。配置完成後,您可以在智能監控 > 規則管理頁面查看此次添加的監控規則。詳情請參見:規則管理

添加到基準監控

用於將當前任務添加至基準上,基準使用詳情請參見:智能基準概述

批量任務操作

若要大量操作某些周期任務,請在周期工作清單中勾選所需操作的周期任務,並在節點下方對這些節點進行暫停(凍結)恢複(解凍)等操作。

查看周期任務DAG圖

單擊周期任務操作欄中的DAG圖按鈕,即可進入周期任務DAG圖詳情頁面。

DAG面板功能

在周期任務DAG詳情頁面,您可以通過以下功能在DAG面板中進行節點彙總、下遊分析和DAG圖顯示樣式調整。

功能

說明

image

您可以根據實際需要,單擊左上方的這些功能表徵圖,您可通過以下維度對節點資訊進行彙總處理。

  • 不彙總

  • 按所屬工作空間彙總

  • 按責任人彙總

  • 按優先順序彙總

image

當周期任務的數量或層級過多時,您可以使用下遊分析功能,統計當前任務影響的下遊任務數。

image

您可以根據實際需要,單擊右上方的這些功能表徵圖,調整DAG圖的顯示樣式。

DAG操作

在周期任務DAG詳情頁面,按右鍵流程中的節點,即可查看其上下遊關係及代碼詳情等相關資訊。具體操作如下:

  • 展開父節點:支援按照層級展開當前任務的上遊任務,最多支援展開6級。您可以通過該功能瞭解哪些任務將影響當前任務的資料產出。

  • 展開子節點:支援按照層級展開當前任務的下遊任務,最多支援展開6級。您可以通過該功能瞭解當前任務將影響哪些任務的資料產出。

  • 查看代碼:用於確認生產環境當前任務的代碼詳情。若不符合預期,請確認當前任務的最新版本是否已經發布成功。生產任務上線請參見:發布任務

  • 編輯節點:單擊後即可跳轉至資料開發頁面開啟當前任務。

說明

其他動作請參考操作周期任務

查看節點詳情

您可以查看任務屬性,並展開詳情以查看詳細屬性、上下文參數、動作記錄和代碼等資訊,從而在生產環境中檢查調度參數、資源群組及代碼是否符合預期。具體操作如下:

在周期任務DAG詳情頁面,左鍵單擊流程中的節點,在彈出的節點資訊中單擊展開詳情,即可在下方頁簽查看相關資訊。

功能

描述

屬性

您可以查看任務在生產環境的調度屬性。介面參數詳情請參見:調度配置

說明

當資料開發介面與產生營運中心周期任務介面的參數配置不一致時,建議您優先確認任務變更後,是否發布成功。

  • 規則監控:您可以查看當前執行個體關聯的監控規則情況,支援您單擊右側的建立快速建立任務運行狀態監控規則,詳情請參見規則管理

    說明

    此處僅支援查看監控任務運行狀態的規則關聯詳情,不支援查看資料品質監控規則。

  • 基準監控:您可以查看當前執行個體關聯的基準情況,支援您單擊右側的建立快速建立基準,詳情請參見基準管理

    說明

    基準規則配置後第二天會在周期任務介面展示。規則配置當天若要確認基準規則是否已成功建立,您可前往智能基準 > 基準管理頁面查看。

動作記錄

用於查看任務的操作記錄,包括:操作時間、操作人、具體操作等。

代碼

用於查看生產環境當前任務的最新代碼。當代碼不符合預期時,請確認任務的最新版本是否已經發布成功。詳情請參見:發布任務