Platform For AI：訓練監控與警示

計費說明

使用CloudMonitor會產生費用，計費說明請參見CloudMonitor計費說明。

查看監控資料

1. 登入CloudMonitor控制台。

2. 在左側導覽列，選擇可視化（Dashboard） > 雲產品大盤。

3. 在雲產品大盤頁面，選擇PAI-分布式訓練（DLC），並在搜尋方塊內，選擇或搜尋工作空間ID，即可查看對應的監控圖表。如何查詢工作空間ID，請參見管理工作空間。

   監控圖表區域在 Job維度 下展示三個GPU指標面板：GPU顯存裝置介面使用率(作業維度)(%)、GPU算力使用率(作業維度)(%)、GPU SM裝置使用率(作業維度)(%)，上報周期均為10秒。

   在對應監控圖表中，可以進行以下操作：

   • 切換監控維度：目前支援Job維度、POD（Worker）維度及GPU維度監控指標展示。

     • 單擊Job維度，您可以選擇或輸入DLC任務ID，查看單個任務的監控資料檢視。

     • 單擊POD維度，您可以選擇或輸入POD ID，查看單個POD的監控資料檢視。

     • 單擊GPU维度，您可以選擇或輸入POD ID，查看指定DLC任務單個POD的GPU維度監控資料檢視。

   • 切換展示時間範圍：支援選擇 1小時、3小時、6小時、12小時、1天、3天、7天、14天 或 自訂 時間段查看監控資料。

   • 放大視圖：您可以單擊每個圖表右上方的放大按鈕，查看監控資料的細節視圖。

配置監控警示

您可以通過CloudMonitor控制台或API配置警示規則，當DLC任務資源水位異常時自動發送通知。

配置警示連絡人

1. 登入CloudMonitor控制台。

2. 在左側導覽列，選擇警示服務 > 警示連絡人。

3. 在警示連絡人頁簽，單擊建立連絡人，填寫警示連絡人的姓名、手機號碼、郵箱或Webhook地址，並單擊確認。

4. 在警示聯絡組頁簽，單擊建立連絡人群組，填寫警示連絡人群組的組名，並選擇已有警示連絡人，然後單擊確認。

配置警示規則

1. 在CloudMonitor控制台的左側導覽列，選擇雲資源監控 > 雲產品監控。

2. 在雲產品監控頁面，搜尋並進入PAI-分布式訓練（DLC）。在搜尋方塊中輸入 PAI-分布式訓練（DLC），在搜尋結果的 指標監控 分類下，單擊 PAI-分布式訓練（DLC）。

3. 在PAI-分布式訓練（DLC）頁面，選擇服務所在的地區，並單擊建立警示規則。

4. 在建立警示規則面板，配置下列參數，並單擊確認。

   參數	描述
   產品	CloudMonitor管理的產品名稱，選擇PAI-分布式訓練（DLC）。
   資源範圍	警示規則的作用範圍，目前支援全部資源、執行個體（作業）： 全部資源：DLC的任何資源滿足警示規則，都會發送警示通知。 執行個體：根據您選定的產品，您需要在關聯資源中添加需要關聯的工作空間。僅添加的工作空間下的DLC作業滿足警示規則時，才發送警示通知。
   規則描述	警示規則主體，當監控資料滿足指定條件時，觸發警示規則。規則描述的設定方法，請參見建立警示規則。
   通道沉默周期	警示發生後如果未恢複正常，間隔多久重複發送一次警示通知。
   生效時間	警示規則的生效時間。警示規則只在生效時間內才會檢查監控資料是否需要警示。
   標籤	自訂警示規則的標籤，包括標籤名稱和標籤值。
   警示連絡人群組	發送警示的連絡人群組，選擇已綁定警示連絡人的警示組。

5. 在PAI-分布式訓練（DLC）頁面，單擊查看警示規則，查看已建立的警示規則詳情、警示歷史等，並支援修改規則。

訂閱監控指標

通過CloudMonitorAPI訂閱DLC監控指標資料，可搭建自訂監控系統和資料大盤。詳情請參見雲產品監控API目錄。

以DescribeMetricList介面為例，為您說明如何調用該API來查詢PAI-分布式訓練（DLC）產品下指定指標的監控資料。

1. 前往分布式訓練（DLC）指標列表頁面。

2. 在指標列表頁面，單擊目標指標操作列下的擷取指標資料。在指標列表頁面搜尋目標監控指標（如 JOB_GPU_ACCELERATOR_DUTTY_UTIL），找到對應指標後，單擊操作列的擷取指標資料，進入 OpenAPI 門戶頁面。

3. 在OpenAPI門戶頁面，配置以下關鍵參數，其他參數取預設配置。更多參數配置說明，請參見DescribeMetricList。

   參數	描述
   Namespace	配置為acs_pai_dlc。
   MetricName	配置對應的監控指標。例如CARD_GPU_DRAM_ACTIVE_UTIL。
   StartTime	開始時間。例如2024-05-15 00:00:00。
   EndTime	結束時間。例如2024-05-28 00:00:00。 說明 StartTime和EndTime之間的間隔小於等於31天。

4. 參數配置完成後，單擊發起調用，即可查看相應時間的監控資料。單擊發起調用，調用成功後返回狀態代碼 200，響應體中 Datapoints 數組包含 timestamp、jobId、regionId、userId、workspaceId、Value 等監控資料欄位。

計費說明

使用ARMS會產生費用，計費說明請參見ARMS計費說明。

接入監控資料

操作步驟如下：

1. 登入ARMS控制台，然後在左側導覽列，單擊接入中心。

2. 在接入中心頁面，單擊左側人工智慧頁簽，然後單擊阿里雲 PAI-DLC分布式訓練服務。

3. 在彈出面板的開始接入頁簽，選擇資料存放區地區並配置接入名稱，然後單擊確定。

   大約需要等待1~2分鐘，即可完成PAI-DLC分布式訓練服務的接入。您也可以切換到效果預覽、採集指標及警示規則模板頁簽，分別查看指標監控大盤、支援採集的指標以及警示規則名稱和模板詳情。

4. 安裝完成後，您可以單擊接入管理，查看已接入環境的詳細資料。

查看Grafana大盤

1. 登入ARMS控制台，在左側導覽列選擇接入管理，並在已接入環境 > 雲端服務地區環境頁簽，單擊環境名稱。

2. 在組件管理頁簽的組件類型地區，選擇阿里雲PAI-DLC分布式訓練服務，並單擊右側的大盤，即可查看內建的Grafana大盤。

3. 單擊大盤名稱，查看監控大盤。進入 阿里雲 Pai-Dlc 分布式訓練服務-執行個體詳情大盤 後，頂部提供 workspaceId、jobId、pod、gpu 四個下拉篩選器，左側分為 作業維度、卡維度、Pod 維度 三個面板分組。Pod 維度下可查看 pod 詳情表格（包含 CPU 使用率、磁碟讀寫 IO 速率、記憶體使用量量等指標）以及 CPFS 讀取延遲、CPFS 寫入資料量、CPFS 讀取資料量等時序圖表。

配置Prometheus警示

通過Prometheus配置監控警示，操作步驟如下：

1. 登入ARMS控制台，在左側導覽列選擇接入管理，並在已接入環境 > 雲端服務地區環境頁簽，單擊環境名稱。

2. 在組件管理的組件類型列表中，選擇阿里雲PAI-DLC分布式訓練服務並單擊警示規則，即可查看內建的警示規則。內建規則預設為已停止狀態。

3. 內建的警示規則會產生警示事件，但不會自動發送通知。您可以通過以下兩種方式配置通知：

   • 設定通知策略：定義警示事件的匹配規則，觸發時按指定方式發送通知。具體操作請參見通知策略。

   • 通過編輯警示規則配置通知方式。在警示規則管理頁面，左側導覽列選擇目標組件類型（如阿里雲 PAI-DLC 分布式訓練服務、阿里雲 Pai-互動式建模（Dsw）、阿里雲 PAI-資源配額 (Quota) 服務、PAI-Quota(非靈駿版)），在規則列表中找到目標規則並單擊編輯按鈕進入編輯頁面。在編輯Prometheus警示規則頁面，您也可以自訂警示條件、期間、警示內容以及警示通知等。有關警示詳細配置的資訊，請參見建立Prometheus警示規則。編輯Prometheus警示規則時，設定檢測類型為自訂PromQL，在自訂PromQL語句中輸入運算式（如 AliyunPaidlc_POD_STATE_ACTIVE{} > 80），設定期間為2分鐘。將警示等級設定為P2。在警示通知地區選取項目極簡模式，配置通知對象、通知時段（00:00至23:59）及重複策略，完成後單擊完成。