全部產品
Search

搜尋本產品

    MaxCompute：通過Logview 2.0查看MaxFrame作業

    文件中心

    MaxCompute：通過Logview 2.0查看MaxFrame作業

    更新時間：Jul 18, 2025

    Logview是MaxCompute作業運行狀態資訊記錄與展現的一個工具，目前已經適配MaxFrame，本文為您介紹如何通過Logview 2.0查看MaxFrame作業的運行資訊。

    概述

    Logview 2.0已適配MaxFrame，並支援以下功能：

    • 查看MaxFrame Session中提交的所有DAG的執行記錄、運行耗時等資訊。

    • 互動式查看每個DAG中的SubDAG的執行順序、已耗用時間、運算元拓撲和狀態關係。

    • 支援查看每個子執行個體的設定、運行狀態、記憶體和CPU等資源使用方式。

    Logview的通用能力可以查看文檔使用Logview 2.0查看作業運行資訊，本文主要介紹查看MaxFrame作業的相關運行資訊。

    Maxframe Logview入口

    當您使用session = new_session(...) 建立任意Session之後，系統會自動產生一個以 https://logview.aliyun.com/logview開頭的URL地址。

    • 在DataWorks使用MaxFrame提交作業後，直接單擊URL地址就可以開啟Maxframe Logview介面。

    • 在本地環境使用MaxFrame提交作業時，您可以使用session.get_logview_address()方法來擷取並列印URL地址，然後將該地址複製到瀏覽器中進行訪問。

    Maxframe Logview介面如下：

    image

    序號

    地區

    ①

    標題與功能區，詳情請參見標題與功能區。

    ②

    Basic Info，詳情請參見Basic Info。

    ③

    DAG列表，詳情請參見DAG列表。

    標題與功能區

    標題與功能區包含您提交作業時產生的唯一作業ID及您自訂的作業名稱，您還可以執行如下操作。

    表徵圖

    功能

    image

    擷取Maxframe Logview URL地址。

    image

    將作業詳情檔案儲存至本地裝置。

    image

    停止當前作業進程。

    image

    開啟本地儲存的作業詳情檔案Logview_detail.txt。

    image

    開啟Job列表，查看指定專案下的Job資訊。

    image

    設定是否啟用自動重新整理，若啟用後間隔10秒重新整理一次。

    DAG列表

    DAG列表展示按照execute調用的先後順序逆序排列，即最新提交的作業會顯示在前面，基本資料如下表所示。

    參數名

    描述

    Id

    DAG ID，每次execute執行時產生的代表該執行的唯一Id。

    Detail

    單擊image，查看對應Sub DAG詳情。

    Start Time

    DAG提交的時間。

    End Time

    DAG運行結束的時間，如果為空白表示當前仍然在運行中。

    Duration

    DAG運行時間長度，即自Start Time開始至結束時間或目前時間的時間。

    Status

    作業的狀態。取值說明如下：

    • Preparing：DAG解析中，尚未開始執行。

    • Running：DAG運行中。

    • Succeeded：DAG執行成功。

    • Failed：DAG執行失敗。

    • Cancelling：DAG正在取消中。

    • Cancelled：DAG已取消。

    Description

    DAG的描述資訊。

    Sub DAG詳情

    Sub DAG詳情頁面如下圖所示。

    image

    序號

    地區

    ①

    Sub DAG Graph顯示地區，詳情請參見Sub DAG Graph。

    ②

    Sub DAG列表，詳情請參見Sub DAG列表。

    ③

    Sub DAG的Instance列表，詳情請參見Instance列表。

    ④

    Sub DAG的Basic Info，詳情請參見Basic Info。

    Sub DAG Graph

    Sub DAG Graph用於快速理解當前DAG的詳情。

    image

    序號

    描述

    ①

    當前的Sub DAG ID，單擊可以返回到DAG列表頁面。

    ②

    麵包屑導航，用於切換Sub DAG任務層級。

    ③

    排查問題協助工具輔助。包含Progress Chart、Input Heat Chart、Output Heat Chart、TaskTime Heat Chart和InstanceTime Heat Chart。

    ④

    您可以在此地區重新整理作業執行狀態（重新整理）、全屏或縮放顯示作業執行圖（全屏）、擷取MaxCompute Studio文檔（協助）和切換至任務上一層級（切換層級）。

    ⑤

    縮放協助工具輔助。

    ⑥

    表節點，代表一張ODPS Table。

    ⑦

    Sub DAG節點，主要包含如下內容：

    • STAGE_X：SubDAG的名稱，序號代表執行順序，從1開始編號，依次遞增。

    • X/X/X（例如：0/5/5）：代表當前SubDAG中ODPS Instance的不同狀態的數量，分別為運行中的Instance個數/完成Instance個數/總Instance個數。

    • 起止時間。

    • MCSQL：表示當前SubDAG執行的引擎。

    • OP 1：表示當前SubDAG中包含一個運算元，雙擊該節點可以查看運算元圖。

    ⑧

    資料流，表示STAGE之間或STAGE與表之間的資料流向。

    ⑨

    畫布預覽空間。

    Sub DAG列表

    該列表展示了當前DAG中所有的Sub DAG的運行資訊，按時間順序排序。

    image

    參數

    描述

    Sub DAG

    當前Sub DAG名稱。

    Failed/Terminated/ALL

    當前Sub DAG中，處於不同狀態的ODPS Instance的數量。

    說明

    如果遇到 (+X Fallback) 則表示有X個Instance發生了MCQA到Offline SQL的計算降級，並不是資料出錯。

    Status

    當前Sub DAG的運行狀態。

    • Failed：執行失敗。

    • Cancelled：已經取消。

    • Running：正在執行中。

    • Succeeded：已執行成功結束。

    Progress

    Sub DAG的進度。

    說明

    如果在Running狀態下達到100%僅表示當前需要處理的Instance已經全部完成，不代表 SubDAG已經執行完成。

    Start Time

    Sub DAG提交時間。

    End Time

    Sub DAG結束時間。

    Duration

    Sub DAG運行時間長度。

    Timeline

    時間軸預覽，可以通過該時間軸查看啟動的先後順序和耗時佔用。

    Instance列表

    該列表展示了Sub DAG相關的ODPS Instance作業。

    image.png

    參數

    描述

    Instance ID

    ODPS Instance作業ID。

    Status

    作業運行狀態。

    • Failed：執行失敗。

    • Cancelled：已取消。

    • Running：正在執行中。

    • Terminated：已執行成功結束。

    • Fallback：以一種降級的方式運行，會形成一條新的Instance記錄。

    • Unknown_terminated：已經執行完成，但未檢測到是成功或失敗。

    Detail

    作業詳情。

    Start Time

    作業提交時間。

    End Time

    作業結束時間。

    Duration

    作業運行時間長度。

    Timeline

    時間軸預覽，可以通過該時間軸查看啟動的先後順序和耗時佔用。

    Fuxi Sensor

    Fuxi Sensor是展示MaxFrame作業全維度資源檢視。您可以通過Fuxi Sensor查看Fuxi Instance的CPU及記憶體的實際消耗量。Fuxi Sensor是作業問題定位以及作業運行品質分析的重要工具。例如以下情境的作業問題可藉助Fuxi Sensor進行分析：

    • 作業記憶體溢出時，分析實際使用的記憶體量。

    • 查看MaxFrame作業Fuxi Instance的以下資源使用方式：

      • CPU使用量

        CPU指標包括兩條線，一條顯示申請的CPU量（cpu_plan），另一條顯示實際的CPU使用量（cpu_usage）。縱座標中的400，表示4個Processor。目前使用者只可以通過調整Processor的個數來調整申請的CPU量，目前使用者無法調整CPU使用量。CPU

      • 記憶體使用量量

        記憶體指標包括兩條線，一條顯示申請的記憶體量（mem_plan），另一條顯示實際的記憶體使用量量（mem_usage）。

        記憶體詳情記憶體

    使用情境

    查看執行耗時最長的階段

    在DAG列表、SubDAG列表和Instance列表中，都可以通過查看Timeline列，快速地找到當前層級耗時最長的DAG、SubDAG或Instance。

    image

    說明

    若您的列表過長並且需要進行分頁，可以通過對Duration列進行逆序排序，以便快速找到耗時最長的項。

    查看執行出錯的原因

    如果您發現DAG執行出錯，或者用戶端返回了異常日誌，可以前往MaxFrame Logview按照如下思路進行查看。

    1. 查看DAG列表中各DAG的狀態。

    2. 查看最近一次Status為Failed的DAG記錄，單擊Detail列中image查看詳細資料。

      image

    3. 您可以在DAG詳情頁面，查看顯示紅色的Sub DAG 節點，如下圖中的 STAGE_1。

      image

      您還可以在Result頁面，查看錯誤資訊。

      image

    4. 單擊失敗的Sub DAG節點STAGE_1，然後在Instance列表Detail列中單擊image並查看詳細資料，如下圖可以找到對應的失敗的Instance。

      image

    查看SubDAG包含的運算元

    目前有兩種方法可以查看Sub DAG 包含的運算元：

    • 方式一：在DAG詳情頁面，單擊SubDAG節點。

      image

    • 方式二：在DAG詳情頁面，雙擊SubDAG節點。

      image

    說明

    • 運算元上會標記當前運算元對應MaxFrame指令碼的程式碼。

    • 一些運算元可能帶有merged from標識，通常是指最佳化器在DAG提交後合并多個運算元，產生效能更高且功能相同的新運算元。

    查看錶的資料情況

    查看資料流結構

    若您想查看的資料流結構資訊，您可以在DAG詳情頁面，雙擊SubDAG節點，進入運算元詳情頁，然後單擊運算元與運算元之間的連接線，即可查看對應的資料類型、索引（Index）和列名格式。

    image

    上述參數介紹：

    • Type: dataframe，表示上遊運算元輸出的是一個dataframe。

    • DataFrame Index：索引。

      None: int64，當前包含一個未命名的Index，類型為int64。

    • DataFrame Columns：列資訊。

      <column name>: <dtype>，當前DataFrame包含的所有的列和列的類型。

    • DataFrame Level Names：當前DataFrame Level的名稱。

    查看資料表的結構

    單擊任意運算元圖或Sub DAG Graph中的ODPS Table節點。

    image

    查看作業詳情

    在DAG詳情頁面，單擊Instance列表Detail列中image查看作業詳情。