本文為您介紹如何查看工作執行個體詳情。
查看工作執行個體詳情
MaxCompute Studio支援2種方式查看MaxCompute工作執行個體詳情。
通過Logview URL或本地的Logview離線檔案以唯讀方式開啟作業詳情。
使用Logview查看作業詳細是常用方式,也可以查看其他專案空間中的任務狀態。您可以通過輸入有效Logview URL或匯入本地Logview離線檔案來查看作業詳情:
在IntelliJ IDEA頂部功能表列中,單擊,選擇匯出本地的Logview離線檔案或者將有效Logview URL複製到Open job detail by logview對話方塊中。
雙擊作業列表下的作業,查看該執行個體的詳細資料。
作業詳情視圖
作業詳情頁麵包括頂部的工具列,左半部分的基本屬性欄以及右半部分詳細視圖頁,其中詳細視圖頁主要包含如下視圖:
執行圖:以DAG圖的方式顯示作業整體資訊,可查看子任務間的依賴關係以及各個子任務的詳細執行計畫。
分析:以時序圖、散佈圖、資料扭曲圖、長尾圖展示作業運行詳情。
歷史:展示作業運行各階段耗時資訊。
指令碼:顯示該作業提交時所對應的SQL語句以及提交作業的參數配置資訊。
詳情:以表視圖的方式展示作業詳細資料,包括子任務列表、各子任務的Worker列表、Worker處理資料量、執行時間及狀態資訊等。
概要:以JSON格式顯示作業運行詳細資料。
結果:顯示該作業運行結果。
計劃:展示作業運行計劃資訊。

工具列
、
:頁面左右摺疊,或最大化某一個視圖。
:停止作業,需要具有響應許可權(專案所有者或管理員)。
:手動重新整理右側各個詳情視圖。運行中作業的基本資料,例如狀態、Quota等資訊會自動重新整理。
:拷貝Logview。
:產生Logview URL並開啟。
:將作業詳情資訊儲存為本地檔案。
:是否開啟自動重新整理。開啟後,MaxCompute Studio會對作業進行全量定時重新整理。
基本資料頁面
基本資料頁面展示了作業的ID、建立人、狀態、起止時間、計算資源用量、輸入項(作業的輸入表)、輸出項(作業的輸出表)等資訊。運行中作業的基本資料會自動定時重新整理。
雙擊表名即可查看對應表的基本資料頁面。
執行圖
執行圖作為日常主要使用工具,以可視化的方式展示Fuxi Job、Fuxi Task以及Operation的依賴關係,同時提供作業回放、進度圖和熱度圖等協助工具輔助,協助排查問題。
上圖中各序號對應說明如下。
序號 | 說明 |
① | 可單擊跳轉其他層次。 |
② | 縮放協助工具輔助。 |
③ | 依賴表。 |
④ | Fuxi Task節點。 |
⑤ | 鷹眼。 |
⑥ | 展示。 |
⑦ | 預設開啟Fuxi Task層依賴。 |
執行圖展示了Fuxi Job層、Fuxi Task層和Operation層的依賴關係,預設展示Fuxi Task層。可單擊向上箭頭切換維度。
Fuxi Job層
單擊MaxCompute job開啟Fuxi Job層,節點內包含Fuxi Task名稱、起止時間等。
Fuxi Task層
雙擊任一Fuxi Job節點即可進入Fuxi Task層。
當有多個Fuxi Job時,預設開啟最後一個Fuxi Job的Fuxi Task層。該層可展示Fuxi Task的依賴關係,輸入輸出表及分區等資訊。當作業結束後單擊工具列中的進度圖,可以選擇輸入熱度圖(Record)、輸出熱度圖(Record)、輸入熱度圖(Byte)、輸出熱度圖(Byte)、Task時間熱度圖和Instance熱度圖。進度圖表示節點的完成進度,熱度圖通過顏色區分節點熱度。
Fuxi Task節點內容如下:
Instance Count:表示為
a/b/c,指某一時刻正在啟動並執行子任務執行個體個數為a,已結束任務執行個體個數b,總任務執行個體個數c。I/O Records:同理為某一時刻的輸入記錄量和輸出記錄量。
百分比與橙色進度條:表示該任務運行情況,該比例根據子任務運行執行個體分析得出。
子任務間連線:顯示輸出的記錄數量。箭頭表示資料流動方向。
Operation層
雙擊任一Fuxi Task即可開啟Operation層。
Operation層揭示了Fuxi Task內在的運行方式,單擊任一節點即可顯示Operation完整資訊。
非SQL類型作業,僅能展示Fuxi Job和Fuxi Task層作業,不展示Operation層。
詳情頁
主要針對SQL DML類作業,展示作業在計算叢集上的Fuxi Task列表、計算節點列表等。通常一個作業對應一個或多個Fuxi Job,每個Fuxi Job拆分成多個Fuxi Task(階段),每個Fuxi Task包含多個Fuxi Instance(Worker)。按右鍵Fuxi Instance可以查看作業啟動並執行標準輸出、標準錯誤和Debug Info。
對應的序號說明如下:
Fuxi Job Tab。
Fuxi Task列表。
每個Fuxi Task詳細資料及計算節點列表。
作業回放
MaxCompute Studio支援作業回放功能,可在12s內回顧該作業執行的歷史軌跡。該功能主要用於協助使用者瞭解MaxCompute執行個體在不同時刻運行狀態,快速判斷子任務級運行順序及消耗時間,掌握作業執行關鍵路徑,從而針對運行較慢的子任務進行最佳化。
單擊 > 按鈕開始播放,再次單擊暫停。您也可以手動拖動進度條。
回放功能僅通過時間估算某一個時刻IO資料量,確定完成進度,並不代表該時刻真實IO資料量。Running狀態作業不支援回放功能。
時序圖
時序圖以甘特圖的方式展示作業分布式執行的詳細資料,可以調整展示粒度,顯示每個計算節點。通過甘特圖直觀地看出作業啟動並執行時間瓶頸和長尾節點等。通過多種過濾器,能夠篩選出作業執行的關鍵路徑、最巨量資料節點和最長時間節點等。
分析頁
分析頁展示作業的長尾節點(Worker)、資料扭曲節點(Worker)。展示節點散佈圖、柱狀圖和輔助作業執行瓶頸診斷。散佈圖和柱狀圖支援從圖中節點的詳情頁查看Fuxi Instance詳情。
結果頁
結果頁會根據作業類型及提交作業時的參數設定展示不同頁面。
SELECT語句並且設定
odps.sql.select.output.format = HumanReadable,結果以文本方式展示。SELECT語句並且未設定output format參數,結果以TABLE方式展示。
對於資料輸出到表的指令碼,展示輸出表名及表詳情頁的連結。
對於異常作業,結果頁顯示異常詳情。