PAI(Platform of Artificial Intelligence)支援在DLC、DSW、EAS中掛載CPFS智算版,實現資料、代碼、模型一份儲存、多處訪問,各環節路徑一致,無需重複拷貝或修改代碼。
前提條件
在DLC中掛載CPFS
建立DLC訓練任務時,可通過直接掛載或資料集掛載方式配置CPFS儲存。訓練任務的完整配置,請參見建立訓練任務。
如果資源配額為通用計算資源,必須配置專用網路,且選擇的專用網路要與智算CPFS一致。如果CPFS智算版檔案系統還未配置專用網路,請通過管理VPC掛載點配置。
單次調參選直接掛載;團隊協作或頻繁建立任務選資料集掛載。
直接掛載
登入PAI控制台,進入目標工作空間。
在左側導覽列選擇分布式訓練(DLC),單擊建立任務。
在環境資訊地區的儲存掛載中,單擊智算CPFS。
配置以下掛載參數:
參數
說明
選擇檔案系統
選擇已建立的CPFS智算版檔案系統執行個體
檔案系統掛載點
選擇CPFS的VPC掛載點。僅通用計算資源需要配置,靈駿智算資源無需選擇
檔案系統路徑
指定要掛載的CPFS目錄。
/表示掛載整個檔案系統,也可指定子目錄。掛載路徑
服務執行個體內訪問CPFS的路徑,如
/mnt/data/。是否唯讀
設定掛載目錄的讀寫權限。
完成其他配置後,提交任務。
資料集掛載
如需複用儲存配置,可使用資料集掛載方式。請先建立CPFS智算版資料集。
登入PAI控制台,進入目標工作空間。
在左側導覽列選擇分布式訓練(DLC),單擊建立任務。
在資料集掛載地區,單擊自訂資料集。
切換到檔案儲存體-智算CPFS頁簽,選擇已建立的資料集,單擊確認。
確認掛載路徑,按需設定是否唯讀。
完成其他配置後,提交任務。
在DSW中掛載CPFS
建立DSW執行個體時,可通過直接掛載或資料集掛載方式配置CPFS儲存。DSW執行個體的完整配置,請參見建立DSW執行個體。
如果資源配額為通用計算資源,必須配置專用網路,且選擇的專用網路要與智算CPFS一致。如果CPFS智算版檔案系統還未配置專用網路,請通過管理VPC掛載點配置。
單次調參選直接掛載;團隊協作或頻繁建立執行個體選資料集掛載。
直接掛載
登入PAI控制台,進入目標工作空間。
在左側導覽列選擇互動式建模(DSW),單擊建立執行個體。
在環境資訊地區的儲存掛載中,單擊智算CPFS。
配置掛載參數:
參數
說明
選擇檔案系統
選擇已建立的CPFS智算版檔案系統執行個體
檔案系統掛載點
選擇CPFS的VPC掛載點。僅通用計算資源(含公用資源)需要配置,靈駿智算資源無需選擇
檔案系統路徑
指定要掛載的CPFS目錄。
/表示掛載整個檔案系統,也可指定子目錄。掛載路徑
服務執行個體內訪問CPFS的路徑,如
/mnt/data/是否唯讀
設定掛載目錄的讀寫權限。
完成其他配置後,建立執行個體。
資料集掛載
資料集可儲存儲存配置供多個任務複用。請先建立CPFS智算版資料集。
登入PAI控制台,進入目標工作空間。
在左側導覽列選擇互動式建模(DSW),單擊建立執行個體。
在資料集掛載地區,單擊自訂資料集。
切換到檔案儲存體-智算CPFS頁簽,選擇已建立的資料集,單擊確認。
完成其他配置後,建立執行個體。
在EAS中掛載CPFS
部署EAS服務時,可通過直接掛載方式配置CPFS儲存。EAS服務的完整配置,請參見自訂部署。
EAS僅支援直接掛載方式,不支援資料集掛載。如果資源配額設定為通用計算資源時,必須配置專用網路,且選擇的專用網路需要與智算CPFS的VPC掛載點一致。如果CPFS智算版檔案系統還未配置專用網路資訊,請先管理VPC掛載點。
登入PAI控制台,進入目標工作空間。
在左側導覽列選擇模型線上服務(EAS),選擇推理服務頁簽。
單擊部署服務 > 自訂部署。
在環境資訊地區的儲存掛載中,單擊智算CPFS。
配置以下掛載參數:
參數
說明
儲存許可權資源群組
選擇儲存許可權資源群組。
選擇檔案系統
選擇已建立的CPFS智算版檔案系統執行個體。
檔案系統路徑
指定要掛載的CPFS目錄。
/表示掛載整個檔案系統,也可指定子目錄。掛載路徑
服務執行個體內訪問CPFS的路徑,如
/mnt/data/。是否唯讀
設定掛載目錄的讀寫權限。
完成其他配置後,部署服務。
建立CPFS智算版資料集
資料集是儲存配置的模板,記錄檔案系統、目錄路徑、掛載路徑等資訊。建立後可被多個DLC/DSW任務複用,避免重複配置。
EAS不支援資料集掛載。
登入PAI控制台,進入目標工作空間,選擇AI資產管理 > 資料集。
在自訂資料集頁簽下單擊建立資料集,配置以下參數:
配置地區
參數
說明
資料集配置
名稱
資料集名稱。
資料集類型
選擇基礎型。
儲存類型
選擇檔案儲存體(智算CPFS)。
內容類型
選擇資料類型:圖片、文本、音頻、視頻、表格、通用。
版本配置
儲存許可權資源群組
選擇有許可權訪問目標CPFS檔案系統的資源群組。
檔案系統
選擇已建立的CPFS智算版檔案系統執行個體。
檔案系統路徑
指定CPFS中的目錄。
/表示掛載整個檔案系統,也可指定子目錄如/datasets/train預設掛載路徑
服務執行個體內訪問CPFS的路徑,如
/mnt/data/。單擊確定。
常見問題
報錯:not support cross azone attach
CPFS智算版的可用性區域或叢集編號與靈駿GPU資源不一致。選擇相同可用性區域和叢集編號的CPFS智算版檔案系統。
建立資料集時VPC掛載點無可選項
CPFS智算版檔案系統未配置VPC掛載點。先管理VPC掛載點。