全部產品
Search
文件中心

Platform For AI:實驗管理

更新時間:Jun 26, 2026

實驗管理支援通過TensorBoard可視化對比多個訓練任務的指標(如train_loss、total_flos等),便於在微調訓練中選擇最優超參數組合。

前提條件

使用TensorBoard進行指標可視化需要先建立OSS Bucket儲存空間,具體操作請參見控制台建立儲存空間

使用費用

  • 實驗管理本身並不收費,但使用Model Gallery進行模型訓練並把訓練任務關聯到實驗時,需要收取DLC訓練費用和OSS儲存費用,計費詳情請參見分布式訓練(DLC)計費說明OSS計費概述

  • 使用TensorBoard進行指標可視化時,當前PAI平台允許免費啟動最多5個Tensorboard執行個體,超過部分將需要付費。

關聯訓練任務到實驗

在Model Gallery建立模型微調訓練任務時,可將任務關聯至一個新的或已有的實驗。操作步驟如下:

  1. 在模型詳情頁面,單擊训练

  2. 在微調訓練詳情頁面实验配置地區中,進行關聯實驗配置。

    1. 當您第一次使用實驗管理或需要將任務關聯至一個新的實驗時,選擇新建实验,設定实验名称实验输出路径

      說明

      關聯到實驗的所有任務的輸出資料路徑,如模型、TensorBoard Log等,都將使用實驗輸出路徑作為預設路徑。

      如果您需要自訂任務輸出路徑,可以在训练输出配置中具體配置。但如果您修改了預設的TensorBoard路徑,會導致該任務無法在實驗的TensorBoard中與其他任務的指標進行可視化對比,因此建議您使用預設路徑。

    2. 您也可以選擇將任務關聯至已有实验

      在下拉式清單中選擇具體的實驗,例如 exp-bert

  3. 微調訓練任務的其他參數配置請參見模型部署及訓練

  4. 單擊训练

    頁面自動跳轉到任务详情頁面。您可以查看到該任務關聯的實驗名稱,任務的超參數等中繼資料。

查看實驗及開啟TensorBoard

關聯到同一實驗的訓練任務可在TensorBoard中對比train_losstotal_flos等指標。操作步驟如下:

  1. 在Model Gallery首頁,單擊任务管理

  2. 任务管理頁面查看所有实验,選擇您需要進行任務指標對比的實驗,點擊操作列的Tensorboard

    會自動開啟一個Tensorboard執行個體。

    彈出查看Tensorboard對話方塊,顯示執行個體名稱輸出路徑狀態訪問地址。執行個體建立過程中狀態顯示為建立中訪問地址顯示為"-"(待建立完成後產生)。可通過底部刪除停止關閉按鈕管理執行個體。

  3. 當Tensorboard狀態變為运行中,點擊前往查看,會自動開啟並跳轉至一個新的標籤頁。

    您可以在該頁面中查看到關聯到實驗的所有訓練任務的指標,不同模型記錄的訓練任務指標可能會有所不同。

在TensorBoard中對比任務指標

  1. 您可以通過選擇Horizontal Axis下的不同選項切換直角座標系的橫座標。

    • STEP:模型訓練的步數。

    • RELATIVE:相對時間,例如訓練開始後的0.5小時,以小時為單位。

    • WALL:絕對時間,例如2024年4月2日上午十點,以小時為單位。

    常見的指標:

    • loss:損失,指的是模型預測結果與真實結果之間的差異。

    • accuracy/precision/recall: 精度指標。

  2. 也可以通過勾選/取消勾選任務ID前的複選框,選擇要進行指標對比的任務。

  3. 當幾個任務在某個指標的值比較相近時,可以點擊直角座標系下方中間的按鈕,指標值將自動聚焦在資料差異較大的部分。

  4. 也可以點擊最左側按鈕,查看大圖。