周期執行個體是基於周期任務的調度配置,自動產生的執行個體快照。您可以通過列表及DAG圖的方式,快速查看執行個體的詳細資料並執行相關操作。
使用須知
正常任務:即真實執行代碼邏輯的任務,不包括空跑(調度屬性為空白跑的任務、調度任務在非調度時間範圍內產生的執行個體、分支節點分支未被選中的空跑任務、即時轉執行個體產生的到期任務等)與被凍結的任務。
營運環境說明:在標準模式工作空間下,您可通過介面左上方切換開發營運中心和生產營運中心。任務在開發營運中心不會自動調度,即在周期執行個體面板中不會產生自動調度執行的周期執行個體。
任務運行與問題定位:
使用限制
版本要求:
僅DataWorks專業版及以上版本使用者才可以使用運行診斷功能,目前支援您免費體驗,但建議升級至專業版以擷取更多產品能力。詳情請參見智能診斷。
僅DataWorks專業版及以上版本使用者才可以使用DAG圖的節點彙總、上遊分析、下遊分析功能。詳情請參見DataWorks版本服務計費說明。
許可權管控:
部分功能僅支援有營運許可權的使用者進行操作,如果功能入口置灰或者沒有功能入口,請進入頁面檢查目標使用者是否有營運許可權。詳情請參見進入管理中心、空間級模組許可權管控。
功能限制:
不支援手動刪除周期執行個體,執行個體在到期後(30天左右)平台將自動刪除。如果任務不再需要運行,可以選擇凍結執行個體。
公用調度資源群組上執行的任務,其執行個體保留一個月(30天)、日誌保留一周(7天)。
在Serverless資源群組或獨享調度資源群組上執行的任務,其執行個體、日誌保留一個月(30天)。
運行完成狀態的執行個體,當日誌大於3M時,平台每天會定時清理。
注意事項
進入周期執行個體頁面
進入營運中心頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的,在下拉框中選擇對應工作空間後單擊進入營運中心。
在左側導覽列單擊,進入周期執行個體頁面。
在該頁面,您可通過不同視角查看執行個體的運行情況。
周期執行個體視角
查看執行個體列表
智能搜尋模式
通過周期任務的智能搜尋功能,您只需輸入搜尋內容,系統將自動解析並快速篩選出所需查看的執行個體列表。
進行智能搜尋。
單擊周期任務篩選框中的智能搜尋按鈕,在彈出的對話方塊中輸入您要搜尋的內容,例如
按執行個體類型進行排序,然後按Enter鍵確認,系統將自動匹配並顯示相關執行個體。儲存新視圖。
如果您後續需要使用智能搜尋中的執行個體搜尋條件,可以單擊搜尋欄中的,在儲存視圖對話方塊中自訂視圖名稱,並單擊儲存。後續可在視圖搜尋欄中找到並使用該新視圖進行執行個體搜尋。
說明如果您後續不想使用該新視圖進行執行個體搜尋,可以在視圖搜尋欄中找到您建立的視圖名稱。滑鼠懸浮在視圖名稱上,點擊右側的...按鈕,選擇編輯或刪除視圖。
關閉智能搜尋。
如果您需要通過條件式篩選進行精準搜尋,可以按Esc鍵或點擊執行個體操作欄中的關閉智能搜尋按鈕退出智能搜尋模式。
條件式篩選模式
使用周期執行個體的條件式篩選功能,您可以根據提供的篩選條件精準篩選出所需的執行個體列表。
簡單條件式篩選。
您可在工具列中根據任務名稱/任務ID/執行個體ID、調度資源群組、近24小時產生警示、長時間等待資源等相關資訊,依次選擇多個篩選條件,篩選出所需查看的執行個體列表。
複雜條件式篩選。
通過單擊周期執行個體篩選框中的篩選按鈕,您可以根據任務名稱/任務ID/執行個體ID、調度資源群組、已耗用時間、計算資源名稱等多種條件進行組合篩選,從而精確地找到所需的執行個體列表。
操作周期執行個體
單個執行個體操作
若要操作某個周期執行個體,請在周期執行個體列表中找到該執行個體,並在執行個體操作欄中使用相應功能進行操作,具體功能說明如下:
功能 | 說明 | |
DAG圖 | 展示周期執行個體的上下遊依賴關係,您可在DAG圖中進行相關操作。詳情請參見附錄:DAG圖功能介紹。 | |
運行診斷 | 對任務進行全鏈路分析,當任務運行不符合預期時,可使用該功能定位問題。詳情請參見智能診斷。 | |
重跑 | 對運行成功或失敗狀態的任務進行重跑,當任務執行成功後,可觸發下遊未運行任務的調度執行。常用於處理出錯節點和漏跑節點。 | |
更多 | 重跑下遊 | 對運行成功或失敗狀態的任務進行重跑下遊節點。您可自行選擇需要重跑的下遊任務,任務執行成功後可觸發下遊未運行狀態任務的調度。常用於處理資料修複。 |
置成功 | 用於將運行失敗的任務設定為成功狀態。當任務執行失敗,但希望該任務不阻塞下遊任務的運行時,可以使用此功能。常用於處理出錯節點。 | |
終止運行 | 用於終止不需要啟動並執行任務,任務終止後,將失敗退出。僅支援對狀態為等待時間、等待資源和運行中的執行個體進行終止操作。 | |
暫停(凍結) | 當前執行個體及其下遊執行個體都不需要執行的時候,可選擇使用此功能。周期執行個體中的凍結只針對當前執行個體。凍結的周期執行個體不自動調度運行(不會真實跑資料),並且會阻塞其下遊節點執行(下遊任務都不會自動調度)。 說明
| |
恢複(解凍) | 用於將凍結狀態的執行個體解凍。
說明 解凍操作僅作用於該執行個體,如果您周期任務仍是凍結狀態, 那麼第二天產生的執行個體仍會是凍結狀態。 | |
查看血緣 | 查看當前執行個體的血緣資訊。 | |
查看周期任務詳情 | 查看當前執行個體的基本資料。 | |
查看作業記錄 | 任務啟動運行後,可通過作業記錄查看任務的詳細執行過程。日誌中的核心參數介紹,請參見附錄:作業記錄參數介紹。 | |
修改調度資源群組 | 修改當前執行個體運行所使用的調度資源群組。該操作不會同步修改執行個體所在周期任務的資源群組。 | |
批量執行個體操作
若要大量操作某些周期執行個體,請在周期執行個體列表中勾選所需操作的周期執行個體,並在執行個體下方對這些執行個體進行批量終止運行、重跑、置成功、修改資源群組、暫停(凍結)、恢複(解凍)操作。
查看周期任務DAG圖
單擊周期執行個體操作欄中的DAG圖按鈕,即可進入周期執行個體DAG圖詳情頁面。
DAG面板功能
在周期執行個體DAG詳情頁面,您可以通過以下功能在DAG面板中進行節點彙總、下遊分析和DAG圖顯示樣式調整。
功能 | 說明 | |
| 您可以根據實際需要,單擊左上方的這些功能表徵圖,您可通過以下維度對執行個體資訊進行彙總處理。
| |
| 當周期任務的數量或層級過多時,您可以使用上遊分析、下遊分析功能,統計當前任務影響的上下遊任務數。 | |
| 您可以根據實際需要,單擊右上方的這些功能表徵圖,調整DAG圖的顯示樣式。 | |
DAG操作
在周期執行個體DAG詳情頁面,按右鍵流程中的執行個體,即可查看其上下遊關係及代碼詳情等相關資訊。具體操作如下:
展開父節點:查看當前節點的上遊任務,用於瞭解哪些節點將影響當前節點的資料產出。支援按照層級展開父節點,最多支援一次展開6級。
展開子節點:查看當前節點的下遊任務,用於瞭解當前節點將影響哪些節點的資料產出。支援按照層級展開子節點,最多支援一次展開6級。
查看作業記錄:任務啟動運行後,可通過作業記錄查看任務的詳細執行過程。日誌中的核心參數介紹,詳情請參見附錄:作業記錄參數介紹。
運行診斷:用於對任務上遊依賴、定時檢查、調度資源、任務運行狀態進行診斷檢查。
查看代碼:用於確認生產環境當前節點的代碼。若不符合預期,請確認節點最新版本是否已經發布成功。
編輯節點:單擊後即可跳轉至資料開發頁面開啟當前節點。
查看血緣:查看當前執行個體的血緣資訊。
查看更多詳情:查看執行個體的基本屬性、動作記錄、任務代碼等資訊。
查看周期任務:查看當前執行個體所屬的周期任務資訊。
前往任務360:進入資料治理中心,從任務關聯的基準列表、執行個體運行情況等多個維度全景瞭解任務運行詳情,進行任務治理。詳情請參見全景查看任務。
終止運行:用於終止不需要啟動並執行任務,任務終止運行後,將失敗退出。僅支援對狀態為等待時間、等待資源和運行中的執行個體進行終止運行操作。
重跑:對運行成功或失敗狀態的任務進行重跑,當任務執行成功後,可觸發下遊未運行任務的調度執行。常用於處理出錯節點和漏跑節點。
重跑下遊:對運行成功或失敗狀態的任務進行重跑下遊節點。您可自行選擇需要重跑的下遊任務,任務執行成功後可觸發下遊未運行狀態任務的調度。常用於處理資料修複。
置成功:用於將運行失敗的任務設定為成功狀態。當任務執行失敗,但希望該任務不阻塞下遊任務的運行時,可以使用此功能。常用於處理出錯節點。
續跑:用於續跑失敗狀態的任務,續跑將從任務執行失敗的位置繼續運行,即當任務中存在多段SQL的情況下,續跑可從具體失敗的SQL處重新運行該任務。
說明僅MaxCompute的SQL任務支援此操作。
觸發DQC校正:若任務配置了資料品質規則,則可進行相關規則校正。
緊急操作:緊急操作只對當前節點本次有效。
去除依賴:對指定任務去除依賴,可通過該功能解除當前節點的依賴關係。常用於上遊失敗並與此執行個體沒有資料關係時,緊急去除任務的上遊依賴,使當前任務能夠運行。
說明需要根據任務代碼、任務血緣確認該操作是否會對資料造成影響。
修改優先順序:執行個體任務的優先順序源於執行個體所在基準的優先順序,您可在此處根據需要重新設定,數值越大,優先順序越高。
強制重跑:用於強制重跑當前節點,支援對運行成功、運行失敗、未啟動並執行周期執行個體進行此操作,常用於資料修複。
強制重跑下遊:用於重刷業務日期昨天和前天的資料,僅支援對運行成功、運行失敗的周期執行個體進行此操作,常用於資料修複。詳情請參見附錄:強制重跑下遊。
說明僅工作空間管理員、租用戶系統管理員、阿里雲主帳號可以發起強制重跑下遊的操作。
複製執行個體:可基於當前運行中狀態的執行個體(宿主執行個體),產生一個配置相同的新執行個體(複製執行個體)。新執行個體命名格式為
dw_clone_節點名。說明僅支援複製ODPS SQL類型節點執行個體,且每個執行個體只能複製一次。
宿主執行個體與複製執行個體的執行邏輯:
宿主執行個體與複製執行個體均處於運行中狀態。若宿主執行個體先運行成功,則複製執行個體將被停止運行;若複製執行個體先運行成功,則宿主執行個體將被停止運行共置為運行成功狀態。
若當前任務的下遊任務存在複製執行個體,則重跑下遊不會觸發複製執行個體執行。
暫停(凍結):如某執行個體及其下遊執行個體都不需要運行時,可凍結該執行個體。
重要上遊執行個體被凍結,會阻塞下遊執行個體的運行,請謹慎操作。
請勿操作projectname_root節點,該節點為工作空間根節點。周期任務的執行個體均依賴於該節點,如果凍結該節點,周期任務執行個體將無法運行。
等待資源、等待時間、運行中(例如,節點代碼運行中、資料品質檢驗中)狀態不支援凍結操作。
恢複(解凍):用於將凍結狀態的執行個體解凍。
如果該執行個體還未運行,則上遊任務運行完畢後,會自動運行。
如果上遊任務都運行完畢,則該任務會直接被置為失敗,需要手動重跑後,執行個體才會正常運行。
說明解凍操作僅作用於該執行個體,如果您周期任務仍是凍結狀態, 那麼第二天產生的執行個體仍會是凍結狀態。
查看執行個體詳情
在執行個體DAG中,左鍵單擊具體執行個體,在彈出的視窗中單擊查看日誌,或展開詳情以查看詳細屬性、作業記錄、動作記錄和代碼等資訊。
功能 | 描述 |
屬性 | 您可以在此頁簽查看任務在生產環境的調度屬性。介面參數詳情請參見:調度配置。
|
作業記錄 | 任務啟動運行後,可通過作業記錄查看任務的詳細執行過程。日誌中的核心參數介紹,詳情請參見附錄:作業記錄參數介紹。 |
動作記錄 | 用於查看任務或執行個體的操作記錄(時間、操作人、具體操作)。 |
代碼 | 用於查看生產環境當前任務的最新代碼。若不符合預期,請確認任務最新版本是否已經成功發布。詳情請參見發布任務。 |
商務程序視角
單擊周期執行個體頁面的商務程序視角頁簽,進入商務程序視角營運介面。
商務程序視角下,僅展示商務程序內的依賴,如果存在跨商務程序、工作空間的依賴,您需要切換至周期執行個體視角進行查看。
查看商務程序列表
功能 | 描述 |
商務程序運行狀態概覽 | 商務程序列通過可視化表徵圖為您展示商務程序的運行狀態,列表模式中統計正常任務,即不包括空跑類型和凍結類型的任務,DAG面板中將會展示所有類型的任務。
|
商務程序營運操作 | 您可以對商務程序進行如下操作:
|
附錄:作業記錄參數介紹
任務啟動運行後,您可通過作業記錄查看任務的運行詳情,日誌中的核心參數介紹如下。
參數 | 描述 |
SKYNET_ONDUTY | 任務責任人。 |
SKYNET_PARAVALUE | 調度參數列表。 |
SKYNET_TASKID | 執行個體ID。 |
SKYNET_ID | 節點ID。 |
SKYNET_NODENAME | 節點名稱。 |
SKYNET_APPNAME | 工作空間名稱。 |
SKYNET_REGION | 工作空間所在地區。 |
SKYNET_CYCTIME | 節點的定時已耗用時間。 |
常見問題
執行個體異常排查
任務未運行排查
空跑
更多常見問題,詳情請參見問題匯總。



:當前商務程序下,運行中狀態的執行個體個數。
:當前商務程序下,運行成功的執行個體個數。
:當前商務程序下,運行失敗的執行個體個數。
:當前商務程序下,非上述狀態的執行個體個數。