任務管理頁面集中展示通過 DLC 提交的分布式訓練任務,支援建立、查看狀態、複製和停止等操作。
操作帳號和許可權要求
-
阿里雲主帳號:擁有所有操作許可權,無需額外授權。
-
RAM 使用者:需要添加為工作空間成員並配置角色許可權,詳情參見附錄:角色及許可權列表。
建立分布式訓練任務
您可以在分布式训练(DLC)頁簽,建立DLC分布式訓練任務,操作步驟如下。
管理分布式訓練任務
分布式訓練任務匯總了從DLC、Designer 中運行在 DLC 上的演算法節點、DLC 命令列工具等入口提交的分布式訓練任務。您可以執行以下操作管理工作。
DLC任務刪除後無法恢複,請謹慎操作。
-
使用任務名稱、任務 ID、時間區間、架構或狀態快速定位目標任務。
-
單擊任務名稱,進入任務詳情頁面,查看任務執行狀態、執行個體執行狀態、資源檢視及日誌等。
-
單擊操作列下的Tensorboard,為該任務建立 Tensorboard 執行個體,通過可視化介面查看訓練結果。
說明僅添加資料集配置的訓練任務支援使用Tensorboard查看分析報告。
-
克隆一個新的任務。
通過關鍵詞查詢彙總日誌
操作步驟
您可以在日志頁簽通過關鍵詞搜尋日誌,操作步驟如下。
-
在左側導覽列選擇AI资产管理>任务,然後在分布式训练(DLC)頁面單擊任務名稱。
-
單擊日志頁簽,按以下步驟設定。
-
在任务信息上方選擇日誌採集時間範圍。
說明日誌採集時間可能晚於任務結束時間,請根據實際情況選擇。
-
在实例列表地區勾選執行個體。
-
在右側搜尋方塊內輸入關鍵詞,搜尋相關日誌或事件。
-
基本查詢規則
彙總日誌關鍵詞查詢需要使用完整的詞,但由於 DLC 使用的 SLS Log Service採用分詞法,精確查詢時可能無法完全符合關鍵詞。
例如,關鍵詞為abc def,查詢結果將包含所有abc和def的日誌,無法完全符合完整的abc def。
模糊查詢規則
彙總日誌關鍵詞查詢支援使用星號(*)和半形問號(?)進行模糊查詢,其餘特殊符號無效。規則如下:
-
星號(*)代表多個任一字元的詞,半形問號(?)代表單個字元的詞。
-
星號(*)和半形問號(?)需要加在關鍵詞的中間或者末尾,放在關鍵詞的開頭會被視為無效。
例如,關鍵詞abc*代表查詢以abc開頭的詞,關鍵詞ab?d代表查詢以ab開頭、d結尾且中間包含單個字元的詞。
模糊查詢最多匹配 100 個搜尋字詞。如果首碼過短且日誌詞彙量超過 100 個,結果可能不精準。關鍵詞越精確,查詢結果越準確。
分詞符限制
DLC 使用的 SLS Log Service將以下常見字元內建為分詞符:, '";=()[\",\"]{}?@&<>/:\n\t\r
分詞符用於將日誌內容拆分為多個詞。如果關鍵詞僅由分詞符組成,搜尋結果為空白。
樣本一:關鍵詞為&&&,無法成功查詢到相關的日誌,建議結合待查詢的關鍵詞的上下文重新構建關鍵詞。
樣本二:若需要查詢包含 a&b 的日誌,建議使用 a&b 作為關鍵詞,而非單獨的 &。關鍵詞越詳細,結果越精準。
關鍵詞樣本
|
查詢需求 |
關鍵詞樣本 |
|
搜尋包含Error的日誌。 |
Error |
|
搜尋包含loss和acc的日誌。 |
loss acc |
|
模糊搜尋關於所有涉及Traceback的日誌。 |
Traceback* |
|
搜尋包含abc&def的日誌。 |
abc&def |