在PAI平台建立資料集時,支援開啟AI加速:資料集加速功能。您可以在建立DSW執行個體或提交DLC任務時,直接使用已開啟加速的資料集,提升資料讀取效率。本文為您介紹如何在PAI平台使用資料集加速器。
前提條件
已建立資料集加速執行個體,具體操作,請參見建立及管理資料集加速執行個體。
開啟資料集加速:建立資料集
-
在数据集頁面建立資料集,並配置以下關鍵參數,更多詳細內容,請參見建立及管理資料集。
參數
描述
创建方式
選擇从阿里云云产品。
开启数据集加速
選中开启数据集加速,並配置相關參數,即可開啟資料集加速功能。勾選 開啟資料集加速 後,還需配置 讀寫屬性,加速掛載點 支援 選擇掛載點、建立掛載點 和 使用內部掛載點 三種方式,加速資料集預設掛載路徑 預設為
/mnt/datasetacc。根據已選擇的資料存放區類型,選擇所属数据集加速实例,並配置資料集加速槽相關參數,包括加速槽名稱、最大容量、加速掛載點等,配置詳情請參見建立及管理資料集加速槽。
-
單擊提交。
成功建立的資料集將顯示在資料集列表中,其中已開啟加速功能的資料集會在列表中顯示加速狀態。提交後,在資料集列表中可查看建立的資料集記錄,包括資料來源、儲存類型、屬性、可見範圍、修改時間等資訊。
開啟資料集加速:已有資料集
-
在数据集頁面,單擊資料集名稱,進入数据集详情頁面。具體操作請參見建立及管理資料集。
-
在数据集详情頁面右上方單擊数据集加速,選擇所属数据集加速实例,並配置資料集加速槽相關參數。具體配置詳情,請參見建立及管理資料集加速槽。
-
單擊提交,即可為該資料集開啟加速功能。
使用資料集加速器
您可以在建立DSW執行個體或提交DLC任務時使用資料集加速器。
-
建立DSW執行個體時,存储配置選擇開啟加速功能的資料集即可,詳情請參見建立及管理DSW執行個體。建立 DSW 執行個體時,在儲存配置的共用資料集地區,從下拉式清單中選擇已開啟加速功能的資料集(支援 OSS、NAS、CPFS 類型),並設定掛載路徑(如
/mnt/data/)。 -
提交DLC任務時,数据集配置選擇開啟加速功能的資料集即可,詳情請參見建立訓練任務。在環境資訊地區,將配置類型設為按資料集,單擊資料集輸入框旁的編輯表徵圖開啟資料集選擇彈窗,切換到加速資料集頁簽,選中目標資料集完成掛載。