實驗管理支援通過TensorBoard可視化對比多個訓練任務的指標(如train_loss、total_flos等),便於在微調訓練中選擇最優超參數組合。
前提條件
使用TensorBoard進行指標可視化需要先建立OSS Bucket儲存空間,具體操作請參見控制台建立儲存空間。
使用費用
實驗管理本身並不收費,但使用Model Gallery進行模型訓練並把訓練任務關聯到實驗時,需要收取DLC訓練費用和OSS儲存費用,計費詳情請參見分布式訓練(DLC)計費說明和OSS計費概述。
使用TensorBoard進行指標可視化時,當前PAI平台允許免費啟動最多5個Tensorboard執行個體,超過部分將需要付費。
關聯訓練任務到實驗
在Model Gallery建立模型微調訓練任務時,可將任務關聯至一個新的或已有的實驗。操作步驟如下:
在模型詳情頁面,單擊训练。
在微調訓練詳情頁面实验配置地區中,進行關聯實驗配置。
當您第一次使用實驗管理或需要將任務關聯至一個新的實驗時,選擇新建实验,設定实验名称及实验输出路径。
說明關聯到實驗的所有任務的輸出資料路徑,如模型、TensorBoard Log等,都將使用實驗輸出路徑作為預設路徑。
如果您需要自訂任務輸出路徑,可以在训练输出配置中具體配置。但如果您修改了預設的TensorBoard路徑,會導致該任務無法在實驗的TensorBoard中與其他任務的指標進行可視化對比,因此建議您使用預設路徑。
您也可以選擇將任務關聯至已有实验。
在下拉式清單中選擇具體的實驗,例如
exp-bert。
微調訓練任務的其他參數配置請參見模型部署及訓練。
單擊训练。
頁面自動跳轉到任务详情頁面。您可以查看到該任務關聯的實驗名稱,任務的超參數等中繼資料。
查看實驗及開啟TensorBoard
關聯到同一實驗的訓練任務可在TensorBoard中對比train_loss、total_flos等指標。操作步驟如下:
在Model Gallery首頁,單擊任务管理。
在任务管理頁面查看所有实验,選擇您需要進行任務指標對比的實驗,點擊操作列的Tensorboard。
會自動開啟一個Tensorboard執行個體。
彈出查看Tensorboard對話方塊,顯示執行個體名稱、輸出路徑、狀態和訪問地址。執行個體建立過程中狀態顯示為建立中,訪問地址顯示為"-"(待建立完成後產生)。可通過底部刪除、停止或關閉按鈕管理執行個體。
當Tensorboard狀態變為运行中,點擊前往查看,會自動開啟並跳轉至一個新的標籤頁。
您可以在該頁面中查看到關聯到實驗的所有訓練任務的指標,不同模型記錄的訓練任務指標可能會有所不同。
在TensorBoard中對比任務指標
您可以通過選擇Horizontal Axis下的不同選項切換直角座標系的橫座標。
STEP:模型訓練的步數。
RELATIVE:相對時間,例如訓練開始後的0.5小時,以小時為單位。
WALL:絕對時間,例如2024年4月2日上午十點,以小時為單位。
常見的指標:
loss:損失,指的是模型預測結果與真實結果之間的差異。
accuracy/precision/recall: 精度指標。
也可以通過勾選/取消勾選任務ID前的複選框,選擇要進行指標對比的任務。
當幾個任務在某個指標的值比較相近時,可以點擊直角座標系下方中間的按鈕,指標值將自動聚焦在資料差異較大的部分。
也可以點擊最左側按鈕,查看大圖。