Platform For AI：查看訓練詳情

查看任務基本資料及配置

1. 登入PAI控制台，在頁面上方選擇目標地區，並在右側選擇目標工作空間，然後單擊進入DLC。

2. 單擊目標任務名稱，進入任務概覽頁面。

3. 在概览頁面，您可以查看該任務的基本資料、環境資訊和資源資訊等。

   概覽頁面頂部展示任務運行狀態（如已成功）、已運行時間長度、計算類型（如通用計算）、任務類型（如PyTorchJob）和資源群組，以及從任務建立、環境準備、任務運行到任務成功各階段的時間軸。基本資料包括任務名稱、任務ID和標籤；資源資訊包括資源類型、Worker數量及執行個體規格（如ecs.gn7i-c8g1.2xlarge）；環境資訊包括節點鏡像地址、資料集掛載配置和執行命令。此外還包含容錯與診斷（自動容錯、健康檢測開關）、網路資訊（專用網路、安全性群組、交換器等）和角色與許可權（執行個體RAM角色、可見範圍）等配置區塊。

4. 單擊頁面頂部的任務名稱，可展開任務切換列表。列表支援按名稱或ID模糊搜尋，協助您快速在運行中與歷史執行個體之間進行切換。

查看任務事件

事件記錄記錄了任務調度和資源相關的進度日誌，您可以通過查看任務事件來定位和排查問題。

• 切換到事件頁簽，查看任務事件記錄。

  事件頁簽左側為事件時間軸，展示開始建立、環境準備、開始運行、任務成功等階段節點及對應時間範圍；右側為事件記錄面板，記錄 Job 排隊、出隊、Pod 建立、Service 建立、調度成功、運行中、成功完成等 PyTorchJob 生命週期事件詳情。

• 在概览頁面下方的实例地區，單擊執行個體操作列下的日志，在系统日志頁簽查看具體的節時間點事件日誌。

  系統日誌中記錄了 Pod 完整的生命週期事件，包括狀態變更（ResourcePurchasing → NetworkInitializing → Initializing → ImagePulling → WaitingForRun → Running → Succeeded）、鏡像拉取記錄及容器建立與啟動等節時間點事件。

查看資源檢視

資源檢視支援查看GPU使用量、GPU Memory使用量、CPU使用量、Memory使用量和Network I/O等指標，協助您即時監控資源使用方式，進行資源最佳化和規劃。

您可以切換到监控頁簽，查看任務資源檢視。

對於使用資源配額建立的訓練任務還支援以下監控功能：

1. 支援作業維度、POD維度及GPU維度的監控指標展示。

   監控頁面上方展示任務生命週期時間軸，依次包含任務建立、排隊、環境準備、任務運行、任務成功等階段及各階段耗時；下方可通過任務維度、POD 維度、GPU 維度Tab 切換查看對應監控指標，GPU 維度下展示 GPU 算力使用率和顯存使用率折線圖。

2. 支援時間篩選、指標篩選和指標分類。單擊更多可自訂指標視圖：勾選所需指標，通過拖拽調整展示順序，聚焦核心監控。

   可選的GPU監控指標包括GPU算力使用率、GPU顯存總量、GPU顯存使用率、GPU顯存使用量、GPU顯存裝置介面使用率、GPU顯存頻寬使用量、GPU SM裝置使用率、GPU裝置功耗、GPU溫度等。勾選所需指標後，在右側指標排序地區通過拖拽調整展示順序，單擊確定完成配置。

3. DLC任務還支援監控警示功能，即時監控DLC任務的資源水位，具體操作，請參見訓練監控與警示。

查看任務日誌

當任務運行異常或需要查看任務執行的記錄時，您可以通過以下兩種方法查看任務日誌：

• 在概览頁面下方的实例地區，單擊執行個體操作列下的日誌，查看某個節點的輸出日誌。

• 切換到日誌頁簽，通過關鍵詞搜尋相關日誌事件。具體操作，請參見通過關鍵詞查詢彙總日誌。查詢文法的簡要tips:

  - 普通查詢: error , 匹配含 error 的日誌
  - 多詞查詢: "Unexpected result" , 同時匹配兩個詞 Uncexpected 和 error
  - 模糊查詢: error* , 匹配以 error 開頭的單詞;不支援特殊字元
  - 短語查詢: #"abc$def" , 匹配完整短語 abc$def
  分隔字元:日誌按分隔字元切分,關鍵詞中的分隔字元會被視為空白字元;如包含分隔字元,請改用短語查詢。常見分隔字元: \n\t\r,;[]{}()&^*#@~=<>/\?:'"
  p.s.
  搜尋字詞中的字元(和字元)會被強行替換成空白字元，請避免在搜尋字詞中攜帶字元(和字元)

  日誌頁面左側展示執行個體列表，右側展示對應執行個體的使用者日誌。樣本中，訓練日誌顯示 Epoch 16 至 Epoch 18 的驗證結果，最終輸出 Model saved with accuracy: 98.96%，表明模型訓練已成功完成。

使用者日誌為空白的排查

使用者日誌來源於使用者指令碼的 stdout 和 stderr。如果使用者日誌為空白但系统日志顯示正常，請按以下順序排查：

1. 檢查 stdout 輸出：在作業啟動命令中加入 echo 或 Python print 語句輸出測試內容。如果測試輸出出現在使用者日誌中，說明原始作業已將 stdout/stderr 重新導向到了自訂位置，請改為輸出到標準輸出或標準錯誤。

2. 檢查安全性群組出方向規則：DLC 任務關聯的安全性群組，其出方向規則需允許存取Log Service（SLS）內部網段 100.64.0.0/10 的 TCP 80 和 443 連接埠。如果出方向規則攔截了該網段，使用者日誌無法上報到 PAI 產品側，頁面上即表現為使用者日誌為空白。

3. 檢查作業運行時間長度：已耗用時間極短（例如小於 2 秒）的作業，可能因Log Service（SLS）尚未完成採集而導致使用者日誌為空白。提交測試作業時，建議讓作業至少運行 30 秒後再查看日誌。

查看行為事件記錄

PAI已整合至Action Trail（ActionTrail）中，您可以在ActionTrail中查看和檢索阿里雲帳號最近90天的DLC行為事件記錄。具體操作，請參見Action Trail。

查看任務重啟記錄

若建立任務時已開啟自動容錯或健康檢測（拉黑重跑）功能，您可通過單擊重啟次數跳轉至重啟記錄頁面，查看相關重啟資訊，包括重啟次數、重啟時間、重啟原因、重啟結果、重啟耗時等。具體操作如下：

• 在重啟記錄列表中，單擊錯誤詳情可查看該次重啟的詳細資料，包括重啟次數、重啟時間、節點名稱、執行個體名稱、錯誤碼、錯誤資訊、錯誤來源。

• 單擊查看彙總錯誤詳情可展開全部重啟記錄的詳情列表。

相關文檔

您可以根據任務的運行情況，進行相應的管理操作，詳情請參見管理訓練任務。