全部產品
Search
文件中心

Platform For AI:NAS/CPFS使用

更新時間:Mar 18, 2025

您可以在PAI子產品DLC、DSW或EAS中綁定NAS/CPFS類型資料集,用來儲存訓練和部署所需的檔案及結果檔案。本文以通用型NAS檔案系統為例,為您介紹如何在PAI子產品中掛載NAS/CPFS類型資料集。

前提條件

已建立通用型NAS檔案系統。具體操作,請參見建立檔案系統

步驟一:建立NAS資料集

在EAS中掛載NAS資料無需執行額外操作。而在DLC和DSW中,您可以掛載NAS類型的資料集或直接掛載NAS資料。如果選擇掛載NAS類型的資料集,您需要提前建立NAS類型資料集,其中關鍵配置說明如下:

重要

地區必須與DLC、DSW執行個體以及EAS服務的地區、資料和代碼的儲存地區保持一致。

參數

描述

資料集配置

儲存類型

選擇檔案儲存體(通用型NAS)

版本配置

檔案系統

配置為已建立的NAS檔案系統的ID。您可以登入NAS控制台,在對應的地區,查看NAS檔案系統ID。也可從下拉式清單中查看擁有的NAS檔案系統ID。

檔案系統路徑

掛載的NAS具體的路徑,配置為/

預設掛載路徑

NAS在DLC任務或DSW執行個體中的掛載路徑,配置為/mnt/data/

步驟二:使用NAS資料集

建立NAS類型的資料集後,您可以在使用DLC、DSW或EAS時,通過掛載NAS資料集來讀取NAS檔案系統中的資料。

在DLC中掛載NAS資料集

建立分布式訓練(DLC)任務時,在環境資訊地區綁定NAS儲存。其中關鍵參數配置如下:image

參數

描述

資料集

單擊自訂資料集,選擇通用型NAS類型的資料集,並配置掛載路徑。當執行DLC任務時,系統會按照該路徑來訪問NAS檔案系統中的資料。您也可以通過是否唯讀開關,來設定讀寫權限,實現許可權的精細化管理。

直接掛載

單擊通用型NAS,設定檔系統的相關參數,並通過配置掛載路徑,將資料集掛載到DLC容器的指定路徑。當執行DLC任務時,系統會按照該路徑訪問NAS檔案系統中的資料。您還可以通過是否唯讀開關,來設定讀寫權限,實現許可權的精細化管理。

此外,您可以在進階配置中,通過設定nconnect參數提升DLC容器訪問NAS的吞吐效能。nconnect是NFS用戶端Linux掛載選項,通過在用戶端和伺服器之間建立更多的TCP傳輸串連來提高吞吐效能。建議將nconnect設定為4,命令樣本如下。

{"nconnect":"4"}

在DSW中掛載NAS資料集

建立DSW執行個體時,綁定NAS類型資料集,其中關鍵參數配置如下:image

  • 資料集掛載:通過配置以下兩個參數來掛載資料集。

    • 自訂資料集:單擊image,選擇已建立的檔案儲存體-通用型NAS類型的資料集。

    • 掛載路徑:選擇資料集後,系統將自動關聯資料集中配置的掛載路徑。在DSW的開發環境中,您可以通過該路徑來訪問NAS檔案系統中的資料。

  • 工作目錄:預設會將系統硬碟目錄掛載至/mnt/workspace。您也可以在下拉式清單中選擇已掛載的資料集,系統會將資料集同步掛載到DSW工作目錄/mnt/workspace中。

在EAS中掛載NAS資料集

部署EAS服務時,綁定NAS類型資料集。其中關鍵參數配置說明如下:image

環境資訊地區進行模型配置,掛載類型選擇通用型NAS,並配置以下參數:

  • 選擇檔案系統:選擇NAS檔案系統。

  • 檔案系統掛載點:選擇掛載點,EAS服務通過掛載點來訪問NAS檔案系統。

  • 檔案系統路徑:需要掛載的NAS中的源路徑,即NAS執行個體內部的檔案系統路徑。

  • 掛載路徑:掛載到服務執行個體中的目標路徑,用來讀取NAS路徑中的檔案。