Platform For AI：掛載資料集/OSS/NAS/CPFS

掛載資料集

1. 建立資料集

   登入PAI控制台，在AI资产管理 > 数据集頁面建立自訂資料集或公用資料集。具體操作可參見建立及管理資料集。

2. 掛載資料集

   在建立DSW執行個體時出現的配置頁中（已存在的執行個體通過單擊变更配置開啟配置頁），找到数据集挂载參數，單擊自定义，選擇已建立的資料集並填寫挂载路径。

直接掛載儲存路徑

以掛載Object Storage Service為例。

1. 建立OSS Bucket

   開通OSS服務並建立Bucket。

   重要

   Bucket所屬地區與PAI的地區一致。Bucket一旦建立，則無法更改其所屬地區。

2. 掛載OSS路徑

   在建立DSW執行個體時出現的配置頁中（已存在的執行個體通過單擊变更配置開啟配置頁），找到存储挂载參數。點擊OSS，然後選擇已建立的OSS Bucket路徑並填寫挂载路径。高级配置預設為空白，您可以參考下文的掛載進階配置，按需配置。

準備工作

1. 安裝PAI Python SDK。在開啟的DSW執行個體終端中執行以下命令，安裝PAI Python SDK，要求python >= 3.8。

   python -m pip install pai>=0.4.11

2. 配置SDK訪問PAI的密鑰。

   • 方式一：配置DSW執行個體為PAI預設角色或自訂RAM角色。開啟執行個體配置頁，在頁面底部單擊展开更多配置選擇執行個體RAM角色。具體操作參見配置DSW執行個體RAM角色。

   • 方式二：手動通過PAI Python SDK提供的命令列工具完成配置。在終端中執行以下命令配置訪問參數。操作樣本參見初始化配置。

     python -m pai.toolkit.config

使用樣本

通過動態掛載功能，無需重啟DSW執行個體，使用樣本如下：

• 掛載到預設路徑

  相應的資料會被掛載到執行個體內的預設掛載路徑下（官方預置執行個體鏡像預設路徑為/mnt/dynamic/）。

  from pai.dsw import mount
  # 掛載oss路徑
  mount_point = mount("oss://<YourBucketName>/Path/Data/Directory/") 
  # 掛載資料集, 入參為資料集的id
  # mount_point = mount("d-m7rsmu350********")

• 掛載到指定路徑

  動態掛載功能目前需要將資料掛載到容器內的指定路徑（或子路徑下），可通過SDK提供的API擷取動態掛載路徑。

  from pai.dsw import mount, default_dynamic_mount_path
  # 擷取執行個體的預設掛載路徑
  default_path = default_dynamic_mount_path()
  mount_point = mount("oss://<YourBucketName>/Path/Data/Directory"
                , mount_point=default_path + "tmp/output/model")

• 動態掛載NAS

  from pai.dsw import mount, default_dynamic_mount_path
  # 擷取執行個體的預設掛載路徑
  default_path = default_dynamic_mount_path()
  # 掛載nas，要求nas的endpoint和執行個體在同一個vpc，<region>替換為regionId，例如cn-hagnzhou
  mount("nas://06ba748***-xxx.<region>.nas.aliyuncs.com/", default_path+"mynas3/")

• 查看執行個體內的所有掛載資料配置

  from pai.dsw import list_dataset_configs
  print(list_dataset_configs())

• 卸載掛載資料

  from pai.dsw import mount, unmount
  mount_point = mount("oss://<YourBucketName>/Path/Data/Directory/")
  # 入參為掛載的路徑，即list_dataset_configs查詢到的MountPath
  # 執行卸載後需要等待幾秒鐘才會生效
  unmount(mount_point)

Q：成功掛載了OSS，為什麼在JupyterLab介面的左側檔案瀏覽器中看不到？

這是因為DSW的檔案瀏覽器預設顯示執行個體的工作目錄，路徑通常是/mnt/workspace。而掛載OSS時指定的掛載路徑（例如 /mnt/data）不在預設工作目錄下，因此不會顯示在左側檔案清單中。

解決方案：

• 通過代碼訪問：檔案已成功掛載。在代碼中使用完整的掛載路徑訪問即可，例如 open('/mnt/data/my_file.csv')。

• 更改掛載點：為了在UI中方便地看到檔案，可在配置掛載時將掛載路徑設定為工作目錄下的子目錄，例如 /mnt/workspace/my_oss_data。這樣掛載完成後，即可在檔案瀏覽器的 my_oss_data 檔案夾中看到OSS檔案。

• 通過終端訪問：在DSW的Terminal中使用cd /mnt/data命令進入掛載目錄，然後通過ls等命令查看和操作檔案。

Q：使用掛載的OSS時，程式報錯“Transport endpoint is not connected”或“輸入/輸出錯誤”？

這個錯誤表明DSW執行個體與OSS的掛載串連已斷開。可能的原因及排查方法如下：

1. RAM角色許可權問題：檢查DSW執行個體配置的RAM角色是否被授予了訪問OSS的許可權（例如 AliyunPAIDLCAccessingOSSRole）。許可權不足是導致無法讀取OSS的常見原因。

2. 掛載服務資源不足：高強度隨機讀寫或大量小檔案操作時，負責掛載的ossfs或JindoFuse進程可能因記憶體不足（OOM）而崩潰 。可在掛載配置的”進階配置”中關閉中繼資料Cache，或增加記憶體配置。詳情參見JindoFuse。

3. 恢複串連：

   • 對於啟動時掛載，最簡單的恢複方法是重啟DSW執行個體，系統會自動重新執行掛載。

   • 您也可以使用PAI SDK執行動態掛載命令，在不重啟執行個體的情況下重新掛載路徑。

Q：DSW支援掛載哪些類型的資料？可以直接掛載阿里雲盤或MaxCompute表嗎？

DSW支援通過建立資料集或直接掛載路徑的方式使用OSS、NAS和CPFS這幾種雲端儲存體服務。

• 不支援阿里雲盤：DSW不支援掛載個人阿里雲盤。需要處理的資料建議存放在OSS中。

• 不支援掛載MaxCompute表：MaxCompute（原ODPS）的表資料不能像檔案系統一樣直接”掛載”到DSW目錄中。您可以通過PAI提供的SDK或API在DSW代碼中讀寫，詳情參見使用PyODPS讀寫MaxCompute表。

Q：DSW執行個體關機或刪除後，代碼和資料會丟失嗎？如何?資料持久化和遷移？

DSW執行個體的系統硬碟是臨時儲存。公用資源群組執行個體停機超過15天資料會被清空；專有資源群組執行個體停止或刪除後，系統硬碟資料也會被清空。

為了實現資料和代碼的持久化儲存及跨執行個體遷移，必須使用外部掛載儲存。

• 持久化方案：將重要資料、代碼、模型等儲存在掛載的OSS或NAS路徑下。即使DSW執行個體被刪除，資產依然安全存放在OSS或NAS中。

• 遷移方案：需要將資料從一個DSW執行個體遷移到另一個時，只需在新執行個體中掛載同一個OSS或NAS路徑即可。

Q：DSW執行個體無法開啟/無法啟動，如何匯出系統硬碟中的資料？

如果DSW執行個體因資源不足或其他原因無法啟動，系統硬碟中的資料不會立即丟失。可嘗試以下方法匯出資料：

1. 變更執行個體規格後重新啟動：在執行個體列表頁，單擊"變更配置"，選擇其他可用的執行個體規格後重新啟動執行個體。變更規格不會導致系統硬碟資料丟失。啟動成功後，立即將資料備份到OSS或NAS。

2. 更換地區或可用性區域：如果當前地區資源不足，且資料已儲存在外部儲存中，可以嘗試建立新執行個體並掛載相同的OSS/NAS儲存來恢複資料。

3. 聯絡支援人員：如果以上方法均無法解決，請提交工單聯絡支援人員協助匯出資料。