全部產品
Search
文件中心

MaxCompute:作業洞察

更新時間:Jan 14, 2025

MaxCompute提供作業洞察能力,支援查看作業概覽資訊、智能診斷詳情、資源消耗情況及特定時刻計算Quota的資源分派情況。同時,還能夠對相似作業(以相同的Signature或ExtNodeId為識別依據)在過去一段時間內的曆次運行指標進行對比分析。您可通過作業洞察最佳化任務執行情況,以提高執行效率。

進入作業洞察

  1. 登入MaxCompute控制台,在左上方選擇地區。

  2. 在左側導覽列,選擇工作區 > 作業營運

  3. 在作業營運列表中,單擊目標Instance ID操作列的洞察,進入作業洞察頁面。

  4. 切換各個頁簽以擷取所需資訊。具體功能如下:

    頁簽名稱

    功能

    作業概覽

    查看作業基礎資訊、運行參數、智能診斷詳情。

    除此之外,您還可以進行以下操作:

    • 診斷:單擊作業概覽頁簽右上方的診斷,觸發SQL/SQLRT作業的即時智能診斷。

    • LogView:單擊作業概覽頁簽右上方的LogView,跳轉至LogView頁面,查看作業運行詳細資料。更多LogView資訊請參見使用Logview 2.0查看作業運行資訊

    資源消耗

    查看作業層級資源消耗情況及某時刻計算Quota的資源分派情況。

    相似作業

    查看相似作業(以相同的Signature或ExtNodeId為識別依據)在過去一段時間的曆次運行時間長度、作業掃描量、資源消耗量等指標對比列表。

查看作業基礎資訊及運行參數

您可以在作業洞察作業概覽頁簽擷取作業的基礎資訊及運行參數,具體參數說明如下:image

基礎資訊

參數名

描述

作業類型

作業的類型,取值如下:

  • SQL:SQL作業。

  • SQLRT:查詢加速SQL作業。

  • LOT:MapReduce作業。

  • CUPID:Spark或Mars作業。

  • Algo_Task:機器學習作業。

  • GRAPH:圖計算作業。

作業Owner

作業的所屬責任人。

作業優先順序

作業優先順序。詳情請參見作業優先順序

付費模式

作業的付費模式,取值如下:

  • 訂用帳戶:使用訂用帳戶計算Quota運行,不產生後付作業費用。

  • 隨用隨付:使用隨用隨付計算Quota運行,會產生後付費作業賬單。

提交時間

作業的提交時間。

開始已耗用時間

作業擷取第一份計算資源的時間。對於已耗用時間過短或不消耗計算資源(如DDL語句)的作業,以作業提交時間代替。

作業狀態

作業當前最新狀態。取值如下:

  • Running:正在運行,未結束的作業都處於此狀態。

  • Success:運行成功。

  • Failed:失敗。

  • Cancelled:取消。

  • Submitted:已提交,等待計算資源中。

說明

此處所述狀態為整個作業的總體狀態。然而,作業本身可能涉及多並發處理,每個並發將具有不同的子狀態。詳細資料需通過LogView進行查看,詳情請參見使用Logview 2.0查看作業運行資訊

等待時間長度

作業從提交時間到開始已耗用時間的時間長度。

運行時間長度

作業從開始已耗用時間到結束已耗用時間的時間長度。

結束已耗用時間

Instance運行結束時間。

總運行時間長度

作業從提交時間到結束時間的總時間長度。

運行參數

參數名

描述

專案

發起作業的專案名稱。

計算配額

作業運行使用的計算配額(Quota)名稱。

查看智能診斷資訊

當您進入作業洞察頁面時,會觸發一次即時SQL/SQLRT作業診斷,您可以在作業概覽頁擷取詳細的智能診斷結果以及最佳化建議。

說明

目前智能診斷功能僅適用於SQL/SQLRT類型的作業,對於非SQL/SQLRT類型的作業,不展示診斷入口和智能診斷結果。

您也可以重複單擊頁面右上方的診斷,以便擷取最新的診斷結果。image

更多關於診斷結果的說明請參見作業智能診斷

查看作業級資源消耗情況

您可以在作業洞察頁面的資源消耗頁簽,擷取作業生命週期內的資源消耗情況。

圖表名稱

描述

作業生命週期內資源使用方式

展示作業層級下,計算資源(CU)使用量與等待量隨時間變化的曲線圖,以及作業啟動並執行Quota層級下,使用CU與等待CU隨時間的變化趨勢。

若發現作業層級使用CU較低,而Quota層級使用CU較高,甚至持續達到上限,則表明Quota資源緊張,存在其他作業與當前作業搶佔計算資源的情況。

某時刻計算Quota的資源分派情況

  • 您可以通過單擊資源消耗圖橫軸的時間點,查看對應時刻計算Quota層級的資源分派情況,具體為所有運行中、等待中的資源分派的作業數量與優先順序分布。

  • 您可以單擊目標優先順序對應的色塊跳轉至作業列表,查看對應作業的詳細資料。以此判斷出具體是哪些作業在與當前作業搶佔計算資源。

  • 您可以依據業務情況最佳化任務執行情況,進行作業優先順序調整或計算資源管理,詳情請參見作業優先順序計算資源-Quota管理

關於作業級資源消耗的實踐,請參見作業級資源分析最佳實務

相似作業對比分析

您可以在作業洞察頁面的相似作業頁簽,查看與當前作業相似的作業在過去一段時間內的曆次運行指標對比情況。

MaxCompute提供兩種相似標準供您選擇(預設同Signature):

  • 同Signature:與當前作業SQL作業簽名相同(只有SQL類型作業可用)。

  • 同ExtNodeId:與當前作業來源端的作業ID相同(例如:來自DataWorks的節點ID。更多DataWorks節點ID資訊,請參見配置基礎屬性)。

支援選擇時間範圍(1d、7d或14d),預設為作業營運頁面選擇的時間範圍。

可視化對比的運行指標參數及說明如下:

指標名稱

描述

等待時間長度

作業從提交時間到開始已耗用時間的時間長度。

運行時間長度

作業從開始已耗用時間到結束已耗用時間的時間長度。

CU時

作業消耗的CU時。

  • CU時的計算方法為MAX(CPU時, 向上取整(記憶體時/4))

  • 1個小時消耗1個CPU Core,定義為1個CPU時。CPU時數量=CPU Core數量 * 時間長度

  • 1個小時消耗1 GB記憶體,定義為1個記憶體時。記憶體時數量=記憶體大小 * 時間長度

掃描量

作業掃描的資料量。

列表中也提供其他欄位供您瞭解作業資訊:

欄位資訊

描述

Instance ID

所選時間範圍內符合當前作業相似標準的Instance ID。單擊該ID可跳轉至該作業的作業洞察頁面。

提交時間

作業的提交時間。

作業類型

作業類型。

作業優先順序

作業優先順序。

發起專案

發起作業的專案名稱。

計算Quota

作業運行使用的計算配額(Quota)名稱。

作業owner

作業的所屬責任人。