PAI(Platform of Artificial Intelligence)支援在DLC、DSW、EAS中掛載CPFS智算版,實現資料、代碼、模型一份儲存、多處訪問,各環節路徑一致,無需重複拷貝或修改代碼。
前提條件
CPFS 智算版提供 VSC 與 VPC 兩種訪問通道。其中 VSC 通道基於 RDMA 協議,可充分發揮檔案系統效能上限;VPC 通道基於 TCP 協議,單檔案系統預設讀頻寬 10 GB/s、寫頻寬 5 GB/s。兩種通道的完整效能規格請參見產品規格。根據使用的資源類型完成對應網路設定,關於資源類型的詳細說明,請參見 PAI 資源概述。
靈駿智算資源:先判斷靈駿與 CPFS 是否處於同一存算親和域(判斷方式見下方說明)。同一存算親和域使用 VSC 通道,無需額外配置;不在同一存算親和域使用 VPC 通道,需為 CPFS 檔案系統建立 VPC 掛載點。
通用計算資源:使用 VPC 通道,需為 CPFS 檔案系統建立 VPC 掛載點,且 DLC/DSW/EAS 任務的專用網路需與 VPC 掛載點同 VPC,或已通過雲企業網打通。
如何判斷靈駿與 CPFS 是否處於同一存算親和域
調用 查詢檔案系統關聯的HpnZone列表,傳入目標 CPFS 檔案系統 ID,擷取與該檔案系統同存算親和域的靈駿 HPNZone 列表。
通過靈駿 OpenAPI 或 PAI 控制台查詢計劃使用的靈駿資源所在的 HPNZone。
若靈駿 HPNZone 命中上述列表,則屬於同一存算親和域;未命中則屬於不同存算親和域。
判斷結果一律以 API 返回為準,不能僅憑可用性區域或 HPNZone 取值是否相同直接判斷。計算和儲存同叢集編號時屬於同一個存算親和域,叢集編號不同時可能屬於同一個存算親和域,跨可用性區域的靈駿與 CPFS 一定不屬於同一存算親和域。
在DLC中掛載CPFS
建立DLC訓練任務時,可通過直接掛載或資料集掛載方式配置CPFS儲存。訓練任務的完整配置,請參見建立訓練任務。
如果資源配額為通用計算資源,必須配置專用網路,且選擇的專用網路要與使用的CPFS掛載點所在專用網路一致。如果CPFS智算版檔案系統還未配置專用網路,請通過管理VPC掛載點配置。
如果是靈駿資源,出現跨親和域訪問時會自動切換到VPC訪問通道,也需要為 CPFS 檔案系統建立 VPC 掛載點。
單次調參選直接掛載;團隊協作或頻繁建立任務選資料集掛載。
直接掛載
登入PAI控制台,進入目標工作空間。
在左側導覽列選擇分布式訓練(DLC),單擊建立任務。
在環境資訊地區的儲存掛載中,單擊智算CPFS。
配置以下掛載參數:
參數
說明
選擇檔案系統
選擇已建立的CPFS智算版檔案系統執行個體
檔案系統掛載點
(可選)選擇 CPFS 的 VPC 掛載點網域名稱。僅當計算資源與 CPFS 檔案系統不在同一存算親和域時需要配置。同一存算親和域內通過 VSC通道直接存取,無需填寫。
存算親和域如何判斷見前提條件。
檔案系統路徑
指定要掛載的CPFS目錄。
/表示掛載整個檔案系統,也可指定子目錄。掛載路徑
服務執行個體內訪問CPFS的路徑,如
/mnt/data/。是否唯讀
設定掛載目錄的讀寫權限。
完成其他配置後,提交任務。
資料集掛載
如需複用儲存配置,可使用資料集掛載方式。請先建立CPFS智算版資料集。
登入PAI控制台,進入目標工作空間。
在左側導覽列選擇分布式訓練(DLC),單擊建立任務。
在資料集掛載地區,單擊自訂資料集。
切換到檔案儲存體-智算CPFS頁簽,選擇已建立的資料集,單擊確認。
確認掛載路徑,按需設定是否唯讀。
完成其他配置後,提交任務。
在DSW中掛載CPFS
建立DSW執行個體時,可通過直接掛載或資料集掛載方式配置CPFS儲存。DSW執行個體的完整配置,請參見建立DSW執行個體。
如果資源配額為通用計算資源,必須配置專用網路,且選擇的專用網路要與使用的CPFS掛載點所在專用網路一致。如果CPFS智算版檔案系統還未配置專用網路,請通過管理VPC掛載點配置。
如果是靈駿資源,出現跨親和域訪問時會自動切換到VPC訪問通道,也需要為 CPFS 檔案系統建立 VPC 掛載點。
單次調參選直接掛載;團隊協作或頻繁建立執行個體選資料集掛載。
直接掛載
登入PAI控制台,進入目標工作空間。
在左側導覽列選擇互動式建模(DSW),單擊建立執行個體。
在環境資訊地區的儲存掛載中,單擊智算CPFS。
配置掛載參數:
參數
說明
選擇檔案系統
選擇已建立的CPFS智算版檔案系統執行個體
檔案系統掛載點
(可選)選擇 CPFS 的 VPC 掛載點網域名稱。僅當計算資源與 CPFS 檔案系統不在同一存算親和域時需要配置。同一存算親和域內通過 VSC通道直接存取,無需填寫。
存算親和域如何判斷見前提條件。
檔案系統路徑
指定要掛載的CPFS目錄。
/表示掛載整個檔案系統,也可指定子目錄。掛載路徑
服務執行個體內訪問CPFS的路徑,如
/mnt/data/是否唯讀
設定掛載目錄的讀寫權限。
完成其他配置後,建立執行個體。
資料集掛載
資料集可儲存儲存配置供多個任務複用。請先建立CPFS智算版資料集。
登入PAI控制台,進入目標工作空間。
在左側導覽列選擇互動式建模(DSW),單擊建立執行個體。
在資料集掛載地區,單擊自訂資料集。
切換到檔案儲存體-智算CPFS頁簽,選擇已建立的資料集,單擊確認。
完成其他配置後,建立執行個體。
在EAS中掛載CPFS
部署EAS服務時,可通過直接掛載方式配置CPFS儲存。EAS服務的完整配置,請參見自訂部署。
EAS僅支援直接掛載方式,不支援資料集掛載。如果資源配額設定為通用計算資源時,必須配置專用網路,且選擇的專用網路要與使用的CPFS掛載點所在專用網路一致。如果CPFS智算版檔案系統還未配置專用網路資訊,請先管理VPC掛載點。
如果是靈駿資源,出現跨親和域訪問時會自動切換到VPC訪問通道,也需要為 CPFS 檔案系統建立 VPC 掛載點。
登入PAI控制台,進入目標工作空間。
在左側導覽列選擇模型線上服務(EAS),選擇推理服务頁簽。
單擊部署服務 > 自訂部署。
在環境資訊地區的儲存掛載中,單擊智算CPFS。
配置以下掛載參數:
參數
說明
儲存許可權資源群組
選擇儲存許可權資源群組。
選擇檔案系統
選擇已建立的CPFS智算版檔案系統執行個體。
檔案系統路徑
指定要掛載的CPFS目錄。
/表示掛載整個檔案系統,也可指定子目錄。掛載路徑
服務執行個體內訪問CPFS的路徑,如
/mnt/data/。是否唯讀
設定掛載目錄的讀寫權限。
完成其他配置後,部署服務。
建立CPFS智算版資料集
資料集是儲存配置的模板,記錄檔案系統、目錄路徑、掛載路徑等資訊。建立後可被多個DLC/DSW任務複用,避免重複配置。
EAS不支援資料集掛載。
登入PAI控制台,進入目標工作空間,選擇AI資產管理 > 資料集。
在自訂資料集頁簽下單擊建立資料集,配置以下參數:
配置地區
參數
說明
資料集配置
名稱
資料集名稱。
資料集類型
選擇基礎型。
儲存類型
選擇檔案儲存體(智算CPFS)。
內容類型
選擇資料類型:圖片、文本、音頻、視頻、表格、通用。
版本配置
儲存許可權資源群組
選擇有許可權訪問目標CPFS檔案系統的資源群組。
檔案系統
選擇已建立的CPFS智算版檔案系統執行個體。
檔案系統路徑
指定CPFS中的目錄。
/表示掛載整個檔案系統,也可指定子目錄如/datasets/train預設掛載路徑
服務執行個體內訪問CPFS的路徑,如
/mnt/data/。單擊确定。