在PAI平台建立資料集時,開啟資料集加速功能可提升訓練資料讀取效率。開啟後,在建立DSW執行個體或提交DLC任務時掛載該資料集即可生效。
前提條件
已建立資料集加速執行個體,請參見建立及管理資料集加速執行個體。
開啟資料集加速:建立資料集
在数据集頁面建立資料集,配置以下關鍵參數,詳情請參見建立及管理資料集。
參數
描述
创建方式
選擇从阿里云云产品。
开启数据集加速
選中开启数据集加速,配置讀寫屬性和加速掛載點(支援選擇掛載點、建立掛載點、使用內部掛載點),掛載路徑預設為
/mnt/datasetacc。根據已選擇的資料存放區類型,選擇所属数据集加速实例,並配置資料集加速槽相關參數,包括加速槽名稱、最大容量、加速掛載點等,配置詳情請參見建立及管理資料集加速槽。
單擊提交。
資料集建立成功後,在資料集列表中可查看建立記錄,已開啟加速的資料集會顯示加速狀態。
開啟資料集加速:已有資料集
在数据集頁面,單擊資料集名稱,進入数据集详情頁面。具體操作請參見建立及管理資料集。
在数据集详情頁面右上方單擊数据集加速,選擇所属数据集加速实例,配置資料集加速槽參數。詳情請參見建立及管理資料集加速槽。
單擊提交,即可為該資料集開啟加速功能。
使用資料集加速器
您可以在建立DSW執行個體或提交DLC任務時使用資料集加速器。
建立DSW執行個體時,在儲存配置的共用資料集地區,選擇已開啟加速功能的資料集(支援OSS、NAS、CPFS類型),設定掛載路徑(如
/mnt/data/)。詳情請參見建立及管理DSW執行個體。提交DLC任務時,在環境資訊地區,將配置類型設為按資料集,單擊資料集輸入框旁的編輯表徵圖開啟資料集選擇彈窗,切換到加速資料集頁簽,選中目標資料集完成掛載。詳情請參見建立訓練任務。