補資料任務能夠支援您以不同的調度方式對歷史資料進行回刷。對於需要定期進行補資料的情境,您可以通過補資料的定時調度功能進行定期補資料;對於經常補資料的節點,但補資料時間及補資料業務日期不確定的情境,您可以通過建立手動啟動並執行補資料任務進行補資料。本文將為您介紹如何建立補資料任務。
操作步驟
在Dataphin首頁的頂部功能表列,選擇研發 > 任務營運。
在左側導覽列選擇任務營運 > 補資料任務。
在頂部功能表列選擇生產或開發環境。
在補資料任務頁面,單擊+建立補資料任務。
在建立補資料任務對話方塊中,配置補資料參數。
參數
描述
基本資料
補資料任務名稱
填寫補資料任務名稱,128個字元以內。
補資料任務負責人
選擇補資料任務負責人。
補資料歸屬專案
選擇當前補資料任務的歸屬專案,僅可選擇當前登入使用者擁有營運-訪問目錄許可權的專案。
補資料範圍
起始節點
選擇補資料範圍的起始節點。
下遊任務選擇
說明若起點任務是邏輯表,下遊任務展示範圍取決於選中需要補資料的邏輯表欄位。
列表模式:適用於所有層級的下遊任務,最多2000個,且任務依賴可快捷選擇1~10層以及全部層級。
過濾暫停任務及其下遊:
預設選中,選中後,列表不展示指定層級和篩選條件下,調度方式為暫停調度的節點及其全部下遊,同時取消已勾選的暫停任務。
對於邏輯表,只要包含了暫停欄位即被過濾;依賴下遊列表中被標識了暫停邏輯表包含的所有欄位的下遊任務也均被過濾。
說明下遊邏輯表欄位只能整體選中補資料,不能只過濾掉暫停欄位。
海量模式:如果列表模式無法滿足您對下遊節點選擇的要求(例如節點數量過多,或者需要批量選擇某些制定節點),您可以選擇海量模式,海量模式將按照篩選條件從當前節點向下尋找選中範圍內的任務,並依據依賴關係進行編排。適用於需要全域補資料的情境。同時海量模式支援以下篩選參數:
覆蓋範圍:支援通過指定專案、指定節點輸出名稱、當前節點的全部下遊、指定一級子節點及其全部下遊、指定終點來指定範圍。
指定專案:通過指定專案來指定補資料範圍。
指定節點輸出名稱:通過填寫節點輸出名稱來指定補資料範圍。輸入多個時,需以斷行符號換行。最多輸入1000個。
當前節點的全部下遊:補當前節點的全部下遊節點資料。
指定一級子節點及全部下遊:補當前節點的若干個一級子節點及其全部下遊節點。
指定終點:將補起點到終點鏈路上所有的節點資料。起點預設為當前節點,不支援修改。終點支援選擇多個終點節點。
指定節點名稱:通過填寫節點名稱來指定補資料範圍。多個節點以斷行符號換行,最多輸入5000個字元。一個節點名稱存在多個任務時,您可以單擊提示資訊的選擇補資料節點,在存在節點名稱重複的節點對話方塊中,選擇對應節點,進行二次確認需要補資料的節點。
說明如果所選的終點節點非起點的下遊節點,則只對起點和終點兩個孤立節點進行補資料。
終點可以通過搜尋id/節點名稱進行搜尋,搜尋範圍為當前租戶內的所有節點。
邏輯表任務終點只支援選擇到全表(全部欄位)。
選中範圍內排除:指定需要在覆蓋範圍內排除的節點輸出名稱或節點名稱。預設選中排除暫停節點及其下遊,同列表模式中過濾暫停節點及其下遊。
說明在選中範圍內排除某些任務後,補資料執行個體的DAG圖上可能產生孤立的任務節點。
適用於只對下遊某一個任務節點進行補資料的情境。
已選節點列表:海量模式下。支援查看已選的節點列表以確認補資料節點或單擊匯出已選節點列表匯出為本地檔案,檔案格式為
csv。
回合組態
調度類型
支援定時調度或手動運行。
定時調度:補資料任務將會在設定的定時已耗用時間前一天23點前產生補資料執行個體進行調度運行。定時調度需配置定時已耗用時間及補資料業務日期。
定時已耗用時間:支援日、周、月。
說明月定時已耗用時間支援選擇月末日(每月最後一天)運行。
調度時區:展示所配置的調度時區,不支援修改。
補資料業務日期:支援最近N天、最近N周(周日~周一)、最近N月(月初~月末日)或自訂補資料業務日期。
預覽最近已耗用時間及補資料業務日期:根據上方所配置的定時已耗用時間和補資料業務日期,以列表形式預覽任務已耗用時間以及對應的補資料業務日期(僅展示5組)。
手動運行:手動產生補資料執行個體並運行。
並發運行組數
並發運行組數用於控制同時有多少個補資料進程在運行。您可以選擇並發啟動並執行組數,系統支援最少並發運行1組,最多並發運行12組。
業務日期的跨度時間小於並發運行組數,則實際並行組數為業務日期天數。
業務日期的跨度時間大於並發運行組數,則可能兼有串列和並行。相同組內的執行個體按業務日期順序運行,不同組之間的執行個體並行運行。例如,業務日期是1月11日~1月13日,並發運行組數為2,11號和12號為一組,13號為一組,11號和13號的執行個體同時開始運行,12號的執行個體則會在11號的執行個體運行完成後開始運行。
說明所選節點中存在跨周期依賴時不支援並發運行。
補資料順序
可選擇根據業務時間正序或倒序進行補資料。
說明所選節點中存在跨周期依賴時不支援按業務日期倒序補數。
指定臨時調度資源群組
如果您開啟了自訂資源群組功能,支援指定本次補資料操作臨時使用的資源群組,以滿足臨時性的資源消耗需求。詳情請參見資源群組概述。 如果未指定臨時調度資源群組,將使用每個任務配置的任務調度資源群組進行調度運行。
說明配置的資源群組僅支援選擇應用情境包含批量營運操作的資源群組。
本節點是否空跑
選擇本任務是否需要空跑:
是:當前任務對應的補資料執行個體空跑運行,即一調度到該任務便直接返回成功,沒有真正的執行該任務。
說明適用於當前節點不需要補資料,但是需要以當前節點為起點選中下遊進行補資料的情境。
否:本節點正常運行。
暫停調度任務對應執行個體
配置暫停調度的任務產生的補資料執行個體的運行狀態:
暫停運行(可能會阻斷補資料進程):即暫停調度的任務產生的補資料執行個體均暫停運行,會阻斷下遊執行個體正常運行。
說明適用於當前任務及其下遊任務均不需要啟動並執行情境。
空跑:若選擇空跑,則選中的暫停任務產生的補資料執行個體將直接空跑成功。
說明適用於當前任務無需運行,但下遊任務需要按照調度配置正常啟動並執行情境。
正常運行:暫停狀態的任務產生的補資料執行個體均正常運行。
說明適用於當前節點被設定為暫停調度,在選中的補資料業務日期需要正常啟動並執行情境。
空跑調度任務對應執行個體
配置空跑調度的任務產生的補資料執行個體的運行狀態:
空跑:若選擇空跑,則選中的空跑調度任務產生的補資料執行個體將直接空跑成功。
正常運行:空跑狀態的任務產生的補資料執行個體均正常運行。
小時區間影響範圍
如果是小時、分鐘任務,則還需要配置生效範圍:
不影響日/周/月調度任務(選中即運行):即下遊任務不受小時區間選擇的影響,全部運行。
日/周/月調度任務只有定時已耗用時間在選中小時區間內才會運行:即下遊任務受小時區間影響,只有定時已耗用時間在選中小時區間內才運行。
單擊確定,完成補資料任務的建立。
後續步驟
完成補資料任務建立後,您可以根據任務的調度類型對補資料任務進行營運管理,例如手動運行補資料任務、刪除補資料任務、轉交任務營運負責人等操作。更多資訊,請參見: