您可以在PAI子產品DLC、DSW或EAS中綁定NAS/CPFS類型資料集,用來儲存訓練和部署所需的檔案及結果檔案。本文以通用型NAS檔案系統為例,為您介紹如何在PAI子產品中掛載NAS/CPFS類型資料集。
前提條件
已建立通用型NAS檔案系統。具體操作,請參見建立檔案系統。
步驟一:建立NAS資料集
在EAS中掛載NAS資料無需執行額外操作。而在DLC和DSW中,您可以掛載NAS類型的資料集或直接掛載NAS資料。如果選擇掛載NAS類型的資料集,您需要提前建立NAS類型資料集,其中關鍵配置說明如下:
地區必須與DLC、DSW執行個體以及EAS服務的地區、資料和代碼的儲存地區保持一致。
參數 | 描述 | |
資料集配置 | 儲存類型 | 選擇檔案儲存體(通用型NAS)。 |
版本配置 | 檔案系統 | 配置為已建立的NAS檔案系統的ID。您可以登入NAS控制台,在對應的地區,查看NAS檔案系統ID。也可從下拉式清單中查看擁有的NAS檔案系統ID。 |
檔案系統路徑 | 掛載的NAS具體的路徑,配置為 | |
預設掛載路徑 | NAS在DLC任務或DSW執行個體中的掛載路徑,配置為 | |
步驟二:使用NAS資料集
建立NAS類型的資料集後,您可以在使用DLC、DSW或EAS時,通過掛載NAS資料集來讀取NAS檔案系統中的資料。
在DLC中掛載NAS資料集
建立分布式訓練(DLC)任務時,在環境資訊地區綁定NAS儲存。其中關鍵參數配置如下:
參數 | 描述 |
資料集 | 單擊自訂資料集,選擇通用型NAS類型的資料集,並配置掛載路徑。當執行DLC任務時,系統會按照該路徑來訪問NAS檔案系統中的資料。您也可以通過是否唯讀開關,來設定讀寫權限,實現許可權的精細化管理。 |
直接掛載 | 單擊通用型NAS,設定檔系統的相關參數,並通過配置掛載路徑,將資料集掛載到DLC容器的指定路徑。當執行DLC任務時,系統會按照該路徑訪問NAS檔案系統中的資料。您還可以通過是否唯讀開關,來設定讀寫權限,實現許可權的精細化管理。 此外,您可以在進階配置中,通過設定nconnect參數提升DLC容器訪問NAS的吞吐效能。nconnect是NFS用戶端Linux掛載選項,通過在用戶端和伺服器之間建立更多的TCP傳輸串連來提高吞吐效能。建議將nconnect設定為4,命令樣本如下。 |
在DSW中掛載NAS資料集
在建立DSW執行個體時,綁定NAS類型資料集,其中關鍵參數配置如下:
資料集掛載:通過配置以下兩個參數來掛載資料集。
自訂資料集:單擊
,選擇已建立的檔案儲存體-通用型NAS類型的資料集。掛載路徑:選擇資料集後,系統將自動關聯資料集中配置的掛載路徑。在DSW的開發環境中,您可以通過該路徑來訪問NAS檔案系統中的資料。
工作目錄:預設會將系統硬碟目錄掛載至/mnt/workspace。您也可以在下拉式清單中選擇已掛載的資料集,系統會將資料集同步掛載到DSW工作目錄/mnt/workspace中。
在EAS中掛載NAS資料集
在部署EAS服務時,綁定NAS類型資料集。其中關鍵參數配置說明如下:
在環境資訊地區進行模型配置,掛載類型選擇通用型NAS,並配置以下參數:
選擇檔案系統:選擇NAS檔案系統。
檔案系統掛載點:選擇掛載點,EAS服務通過掛載點來訪問NAS檔案系統。
檔案系統路徑:需要掛載的NAS中的源路徑,即NAS執行個體內部的檔案系統路徑。
掛載路徑:掛載到服務執行個體中的目標路徑,用來讀取NAS路徑中的檔案。