資料集加速槽用於綁定資料來源地址。系統根據資料來源類型、資料大小、訓練架構和模型等因素預先處理資料集,提升訪問速度。您可建立、管理資料集加速槽及其掛載點。
前提條件
已建立資料集加速執行個體。具體操作,請參見建立及管理資料集加速執行個體。
建立資料集加速槽
登入PAI控制台,在左側導覽列,選擇。
進入建立加速槽配置面板。
方式一:在加速槽頁簽,單擊建立加速槽。
方式二:在加速執行個體詳情頁面建立加速槽。
說明該方式下,所屬執行個體固定為當前加速執行個體,無法選擇其他執行個體。
在加速執行個體頁簽,單擊目標執行個體名稱,進入詳情頁面。
在資料集加速槽頁簽,單擊建立加速槽。
在建立加速槽配置面板,配置以下參數。
參數
描述
所屬執行個體
選擇已建立的加速執行個體。
綁定雲產品
阿里雲Object Storage Service
读写属性:設定OSS的讀寫權限。支援只读和可读写。
選定OSS路徑:選擇資料集在OSS中的儲存目錄。
阿里雲檔案儲存體(通用型NAS)&阿里雲檔案儲存體(極速型NAS)
选择文件系统:選擇已建立檔案系統的ID。
文件系统挂载点:選擇掛載點。訓練叢集通過掛載點訪問檔案系統。
文件系统路径:選擇NAS中已有的儲存路徑。預設為
/。
最大容量
配置資料集加速槽容量,需大於等於資料集容量。容量不足會導致加速失敗。參考具體資料集容量設定。
挂载点
綁定雲產品選擇阿里雲Object Storage Service時,可配置該參數。
選擇或建立掛載點,將資料集加速器掛載到訓練叢集。訓練任務通過掛載點訪問加速槽,讀取資料集,提高訪問效率。掛載點與訓練叢集不在同一VPC時,訓練任務無法訪問資料集。
支援以下兩種配置方式:
选择挂载点:選擇已有的掛載點。
新建挂载点:配置以下參數,建立新的掛載點。
挂载点类型:僅支援VPC。
VPC网络:選擇已建立的專用網路。沒有可用網路時,單擊创建专有网络建立。
交换机:選擇已建立的交換器。沒有可用交換器時,單擊创建交换机建立。
說明資料集加速器只支援專用網路類型的掛載點。
一個專用網路掛載點可被同VPC下不同交換器中的訓練叢集使用。
添加掛載點會佔用檔案系統的一個IP地址。建議選擇內網IP較多的交換器。
掛載點只支援同一VPC網路的訓練叢集掛載。
啟動自動回收
開啟啟動自動回收開關,配置資料集加速槽的已耗用時間或停止時間。
單擊提交。
系統初始化加速槽執行個體。待状态變為运行中後,即可使用。狀態未變為運行中前,訓練任務無法讀取加速槽資料。
管理資料集加速槽
可在加速槽頁簽或加速執行個體詳情頁面管理資料集加速槽,兩個頁面操作相同。在資料集加速器頁面,單擊加速槽頁簽,查看加速槽列表。列表包含加速槽名稱/ID、掛載點、同步狀態、所屬執行個體、加速儲存、儲存路徑、狀態及載入時間長度。在操作列,可展開更多菜單查看停止和刪除選項。
單擊加速槽名稱,進入詳情頁面,查看基本信息。
將滑鼠移至上方在加速儲存列,查看資料集儲存類型。
可停止、刪除不再使用的加速槽,或複製新加速槽。也可以單擊自动回收配置已耗用時間或自動停止時間。及時清理不再使用的加速槽,可釋放資源。
管理掛載點
單擊加速槽名稱進入詳情頁面,管理掛載點。掛載點資訊包括掛載點名稱、掛載點類型(如VPC)、VPC ID、VSwitch ID、可用性區域、IP 和 port。
查看配置資訊:將滑鼠移至上方在掛載點名稱上,查看其配置資訊。
查看部署配置:單擊掛載點名稱,展示資料集加速器用戶端的部署配置。
下載部署配置:在部署配置面板,單擊下载,下載YAML檔案。該檔案用於在訓練叢集中配置資料集加速器。未在訓練叢集配置用戶端,加速槽將無法掛載。
也可單擊複製,將YAML內容複寫到剪貼簿。該YAML檔案包含
apiVersion: data.datasetacc.io/v1、kind: DataSetAccelerator,以及metadata(含加速槽名稱)和spec(含frontEndAddr和frontEndPort)等欄位。
後續步驟
啟用資料集的加速功能。建立DSW執行個體或提交DLC任務時即可使用,加快資料集訪問速度。詳情請參見在PAI平台使用資料集加速器。