全部產品
Search
文件中心

MaxCompute:工作執行個體詳情

更新時間:Apr 29, 2025

本文為您介紹如何查看工作執行個體詳情。

查看工作執行個體詳情

MaxCompute Studio支援2種方式查看MaxCompute工作執行個體詳情。

  • 通過Logview URL或本地的Logview離線檔案以唯讀方式開啟作業詳情。

    使用Logview查看作業詳細是常用方式,也可以查看其他專案空間中的任務狀態。您可以通過輸入有效Logview URL或匯入本地Logview離線檔案來查看作業詳情:

    在IntelliJ IDEA頂部功能表列中,單擊MaxCompute > 開啟Logview,選擇匯出本地的Logview離線檔案或者將有效Logview URL複製到Open job detail by logview對話方塊中。

  • 雙擊作業列表下的作業,查看該執行個體的詳細資料。

作業詳情視圖

作業詳情頁麵包括頂部的工具列,左半部分的基本屬性欄以及右半部分詳細視圖頁,其中詳細視圖頁主要包含如下視圖:

  • 執行圖:以DAG圖的方式顯示作業整體資訊,可查看子任務間的依賴關係以及各個子任務的詳細執行計畫。

  • 分析:以時序圖、散佈圖、資料扭曲圖、長尾圖展示作業運行詳情。

  • 歷史:展示作業運行各階段耗時資訊。

  • 指令碼:顯示該作業提交時所對應的SQL語句以及提交作業的參數配置資訊。

  • 詳情:以表視圖的方式展示作業詳細資料,包括子任務列表、各子任務的Worker列表、Worker處理資料量、執行時間及狀態資訊等。

  • 概要:以JSON格式顯示作業運行詳細資料。

  • 結果:顯示該作業運行結果。

  • 計劃:展示作業運行計劃資訊。

**

工具列

  • :頁面左右摺疊,或最大化某一個視圖。

  • :停止作業,需要具有響應許可權(專案所有者或管理員)。

  • :手動重新整理右側各個詳情視圖。運行中作業的基本資料,例如狀態、Quota等資訊會自動重新整理。

  • :拷貝Logview。

  • :產生Logview URL並開啟。

  • :將作業詳情資訊儲存為本地檔案。

  • :是否開啟自動重新整理。開啟後,MaxCompute Studio會對作業進行全量定時重新整理。

基本資料頁面

基本資料頁面展示了作業的ID、建立人、狀態、起止時間、計算資源用量、輸入項(作業的輸入表)、輸出項(作業的輸出表)等資訊。運行中作業的基本資料會自動定時重新整理。

雙擊表名即可查看對應表的基本資料頁面。

執行圖

執行圖作為日常主要使用工具,以可視化的方式展示Fuxi Job、Fuxi Task以及Operation的依賴關係,同時提供作業回放、進度圖和熱度圖等協助工具輔助,協助排查問題。

上圖中各序號對應說明如下。

序號

說明

可單擊跳轉其他層次。

縮放協助工具輔助。

依賴表。

Fuxi Task節點。

鷹眼。

展示。

預設開啟Fuxi Task層依賴。

執行圖展示了Fuxi Job層、Fuxi Task層和Operation層的依賴關係,預設展示Fuxi Task層。可單擊向上箭頭切換維度。

  • Fuxi Job層

    單擊MaxCompute job開啟Fuxi Job層,節點內包含Fuxi Task名稱、起止時間等。

  • Fuxi Task層

    雙擊任一Fuxi Job節點即可進入Fuxi Task層。

    當有多個Fuxi Job時,預設開啟最後一個Fuxi Job的Fuxi Task層。該層可展示Fuxi Task的依賴關係,輸入輸出表及分區等資訊。當作業結束後單擊工具列中的進度圖,可以選擇輸入熱度圖(Record)輸出熱度圖(Record)輸入熱度圖(Byte)輸出熱度圖(Byte)Task時間熱度圖Instance熱度圖。進度圖表示節點的完成進度,熱度圖通過顏色區分節點熱度。

    Fuxi Task節點內容如下:

    • Instance Count:表示為a/b/c,指某一時刻正在啟動並執行子任務執行個體個數為a,已結束任務執行個體個數b,總任務執行個體個數c。

    • I/O Records:同理為某一時刻的輸入記錄量和輸出記錄量。

    • 百分比與橙色進度條:表示該任務運行情況,該比例根據子任務運行執行個體分析得出。

    • 子任務間連線:顯示輸出的記錄數量。箭頭表示資料流動方向。

  • Operation層

    雙擊任一Fuxi Task即可開啟Operation層。

    Operation層揭示了Fuxi Task內在的運行方式,單擊任一節點即可顯示Operation完整資訊。

說明

非SQL類型作業,僅能展示Fuxi Job和Fuxi Task層作業,不展示Operation層。

詳情頁

主要針對SQL DML類作業,展示作業在計算叢集上的Fuxi Task列表、計算節點列表等。通常一個作業對應一個或多個Fuxi Job,每個Fuxi Job拆分成多個Fuxi Task(階段),每個Fuxi Task包含多個Fuxi Instance(Worker)。按右鍵Fuxi Instance可以查看作業啟動並執行標準輸出、標準錯誤和Debug Info。詳情頁

對應的序號說明如下:

  1. Fuxi Job Tab。

  2. Fuxi Task列表。

  3. 每個Fuxi Task詳細資料及計算節點列表。

作業回放

MaxCompute Studio支援作業回放功能,可在12s內回顧該作業執行的歷史軌跡。該功能主要用於協助使用者瞭解MaxCompute執行個體在不同時刻運行狀態,快速判斷子任務級運行順序及消耗時間,掌握作業執行關鍵路徑,從而針對運行較慢的子任務進行最佳化。

單擊 > 按鈕開始播放,再次單擊暫停。您也可以手動拖動進度條。

說明

回放功能僅通過時間估算某一個時刻IO資料量,確定完成進度,並不代表該時刻真實IO資料量。Running狀態作業不支援回放功能。

時序圖

時序圖以甘特圖的方式展示作業分布式執行的詳細資料,可以調整展示粒度,顯示每個計算節點。通過甘特圖直觀地看出作業啟動並執行時間瓶頸和長尾節點等。通過多種過濾器,能夠篩選出作業執行的關鍵路徑、最巨量資料節點和最長時間節點等。

分析頁

分析頁展示作業的長尾節點(Worker)、資料扭曲節點(Worker)。展示節點散佈圖、柱狀圖和輔助作業執行瓶頸診斷。散佈圖和柱狀圖支援從圖中節點的詳情頁查看Fuxi Instance詳情。

結果頁

結果頁會根據作業類型及提交作業時的參數設定展示不同頁面。

  • SELECT語句並且設定odps.sql.select.output.format = HumanReadable,結果以文本方式展示。

  • SELECT語句並且未設定output format參數,結果以TABLE方式展示。

  • 對於資料輸出到表的指令碼,展示輸出表名及表詳情頁的連結。

  • 對於異常作業,結果頁顯示異常詳情。