CPFS智算版與阿里雲人工智慧平台PAI(Platform For AI)無縫整合,您可以在PAI子產品DLC、DSW、EAS中綁定CPFS智算版作為資料集用來儲存訓練和部署所需的檔案及結果檔案。本文介紹如何在PAI子產品中掛載CPFS智算版類型資料集。
前提條件
已建立CPFS智算版檔案系統,詳情請參見建立檔案系統。
靈駿智算單租戶版使用CPFS智算版檔案系統,只需要在建立叢集時,在軟體執行個體基本參數的CPFS頁簽中配置CPFS智算版資訊。配置完成後,將在靈駿叢集自動化部署階段完成叢集初始化及掛載檔案系統。更多資訊,請參見建立帶有ACK靈駿託管版的叢集。
建立CPFS智算版資料集
在EAS中掛載CPFS智算版無需建立資料集。而在DLC和DSW中,您可以掛載智算CPFS類型的資料集或直接掛載智算CPFS檔案系統。如果選擇掛載智算CPFS類型的資料集,則需要提前建立CPFS智算版資料集。其中關鍵參數配置如下:
參數 | 描述 | |
資料集配置 | 儲存類型 | 選擇檔案儲存體(智算CPFS)。 |
匯入配置 | 檔案系統 | 配置為已建立的CPFS智算版檔案系統的ID。您可以登入NAS控制台,在對應的地區,查看CPFS智算版檔案系統ID。也可從下拉式清單中查看擁有的CPFS智算版檔案系統ID。 |
檔案系統路徑 | 掛載的CPFS智算版具體的路徑。例如,配置為 | |
預設掛載路徑 | CPFS智算版在DLC任務或DSW執行個體中的掛載路徑。例如,配置為 | |
使用CPFS智算版資料集
建立資料集後,可以在使用DLC、DSW或EAS時,通過掛載智算資料集來讀取智算CPFS檔案系統中的資料。
通過以下三種方式掛載 CPFS 智算版時,請確保 CPFS 智算版的可用性區域(AZ)和叢集編號與所使用的靈駿 GPU 保持一致。
在DLC中掛載
建立分布式訓練(DLC)任務時,在環境資訊地區綁定CPFS智算版檔案系統。其中關鍵參數配置如下:

參數 | 說明 |
資料集 | 單擊自訂資料集,選擇智算CPFS類型的資料集,並配置掛載路徑。當執行DLC任務時,系統會按照該路徑來訪問智算CPFS檔案系統中的資料。您也可以通過是否唯讀開關,來設定讀寫權限,實現許可權的精細化管理。 |
直接掛載 | 僅靈駿智算資源的任務可以使用BMCPFS資料來源。單擊BMCPFS,設定檔系統的相關參數,並通過配置掛載路徑,將資料集掛載到DLC容器的指定路徑。 當執行DLC任務時,系統會按照該路徑訪問智算CPFS檔案系統中的資料。您還可以通過是否唯讀開關,來設定讀寫權限,實現許可權的精細化管理。 |
如果任務為通用計算資源的任務,則必須配置專用網路,且選擇的專用網路需要與智算CPFS一致。否則,提交的DLC訓練任務可能長時間處於環境準備中狀態。如果CPFS智算版檔案系統還未配置專用網路資訊,請為其添加VPC掛載點,配置專用網路。
在DSW中掛載
在建立DSW執行個體時,綁定CPFS智算版類型資料集,其中關鍵參數配置如下:
參數 | 說明 |
自訂資料集 | 單擊 |
掛載路徑 | 選擇資料集後,系統將自動關聯資料集中配置的掛載路徑。在DSW的開發環境中,您可以通過該路徑來訪問智算CPFS檔案系統中的資料。 |
如果資源配額設定為通用計算資源時,必須配置專用網路,且選擇的專用網路需要與智算CPFS一致。如果CPFS智算版檔案系統還未配置專用網路資訊,請為其添加VPC掛載點,配置專用網路。
在EAS中掛載
在使用靈駿智算資源部署EAS服務時,掛載CPFS智算版檔案系統。其中關鍵參數配置說明如下:
在環境資訊地區進行模型配置,掛載類型選擇智算CPFS,並配置以下參數:
檔案系統:選擇CPFS智算版檔案系統。
源路徑:需要掛載的CPFS智算版中的源路徑,即CPFS智算版執行個體內部的檔案系統路徑。
掛載路徑:掛載到服務執行個體中的目標路徑,用來讀取CPFS智算版路徑中的檔案。
相關文檔
如果您需要實現OSS的資料流動至CPFS智算版或將CPFS智算版的資料流動至OSS,請參見CPFS智算版資料流動(邀測)。
如果您想管理檔案系統中某個目錄的使用容量、可建立檔案數,請參見Fileset配額管理。
如果您想瞭解檔案系統的效能,請參見資料監控。