DataWorks：使用資料集

準備工作：建立資料集

1. 建立儲存空間或建立檔案系統。

   本樣本以OSS類型資料集為例，在上海地區建立名為datasets-oss的bucket，並建立目錄/dataset01/v1。

2. 建立資料集。

   本樣本建立OSS資料集名稱為datasets-oss，將OSS路徑oss://datasets-oss.oss-cn-shanghai.aliyuncs.com/dataset01/v1/掛載到/mnt/data/dataset01。

1. 為節點配置資料集

在Shell節點或Python節點的調試配置中配置資料集datasets-oss相關資訊。

2. 在節點中使用資料集

本樣本以Shell節點為例，在Shell節點中綁定OSS類型資料集後，可以在Shell節點代碼中按照本地檔案管理的方式來管理的OSS資料。以下為使用預設的ossfs 2.0工具向OSS類型的資料集datasets-oss掛載路徑/mnt/data/dataset01上傳檔案file01.txt並寫入資料。

程式碼範例：

echo "Hello World" > /mnt/data/dataset01/file01.txt
ls -tl /mnt/data/dataset01

3. 在OSS中確認資料寫入情況

當2. 在節點中使用資料集代碼執行完成以後，檔案將自動寫入資料集掛載路徑對應的OSS儲存路徑，您可以前往OSS儲存路徑查看DataWorks節點中寫入的檔案，本樣本OSS類型的資料集datasets-oss掛載路徑/mnt/data/dataset01對應的儲存路徑為oss://datasets-oss.oss-cn-shanghai.aliyuncs.com/dataset01/v1/，以下為OSS該路徑下資料寫入情況樣本。

準備工作：建立資料集

1. 建立儲存空間或建立檔案系統。

2. 建立資料集。

   本樣本以NAS類型資料集為例，在上海地區建立NAS資料集名稱為datasets-nas，將NAS路徑nas://****.cn-shanghai.nas.aliyuncs.com/mnt/dataset02/v1/掛載到/mnt/data/dataset02。

1. 為個人開發環境配置資料集

建立個人開發環境執行個體，選擇已建立的NAS類型的資料集datasets-nas。

{"nasOptions":"vers=3,nolock,proto=tcp,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,noresvport"}

2. Notebook中讀取資料集

1. 在資料開發頁面頂部，切換至個人開發環境執行個體，然後建立Notebook開發。

2. 在Notebook中配置如下內容。

   1. 向資料集指定路徑寫入資料。

      import os
      
      # 定義目標路徑和檔案名稱
      file_path = "/mnt/data/dataset02/file02.txt"
      
      # 確保目錄存在（如果目錄不存在則建立）
      os.makedirs(os.path.dirname(file_path),exist_ok=True)
      
      # 寫入內容
      content = "Hello World!"
      try:
          with open(file_path, "w", encoding="utf-8") as file:
              file.write(content)
          print(f"檔案已成功寫入：{file_path}")
      except Exception as e:
          print(f"寫入失敗:{str(e)}")

   2. 讀取資料集中指定路徑下的資料。

      file_path = "/mnt/data/dataset02/file02.txt"
      with open(file_path, "r") as file:
          content = file.read()
      content

3. 分別運行兩個Python代碼。

   說明

   運行時需確認Python核心，本樣本以Python 3.11.9為例。

   

3. 配置調度

在Notebook節點右側單擊調度配置，添加資料集相關選項，參數配置與建立個人開發環境執行個體時設定的資料集參數相同。

使用ossfs 2.0掛載訪問OSS

ossfs 2.0是一款專門用於通過掛載方式高效能訪問OSS（Object Storage Service）的用戶端，它具備出色的順序讀寫能力，可充分發揮OSS的高頻寬優勢，適用於對順序讀寫效能要求較高的情境，如AI訓練、巨量資料處理等計算密集型應用。這類工作負載情境主要涉及順序和隨機讀取、順序（僅支援追加）寫入操作，並且無需依賴完整的 POSIX 語義。

在資料集 > 進階配置中，您可以設定進階參數，多個配置之間使用半形逗號（,）分隔。有關進階參數的使用說明，以及更多配置，請參見ossfs 2.0掛載選項說明。以下是幾個常見的情境樣本：

• 任務過程中資料來源不變：如果要讀取的所有檔案在讀取過程中均不會被修改，可以配置較大的緩衝時間，從而減少中繼資料請求次數。典型情境例如：讀取一批已有的舊檔案，並在處理後產生一批新檔案。

  {"mountOssType":"ossfs", "attr_timeout": "7200"}

• 快速讀寫：使用較小的中繼資料快取時間，可以平衡緩衝效率和檔案資料的及時性。

  {"mountOssType":"ossfs", "attr_timeout": "3", "negative_timeout":"0"}

• 分布式任務讀寫一致：ossfs預設基於中繼資料快取進行檔案的資料更新。通過以下配置實現多節點同步視圖。

  { "mountOssType":"ossfs","negative_timeout": "0", "close_to_open":"false"}

• 同時開啟過多檔案導致OOM：任務並發量較高，同時開啟大量檔案，可能引發OOM（記憶體不足）問題。通過以下配置來緩解記憶體壓力。

  {"mountOssType":"ossfs","readdirplus": "false", "inode_cache_eviction_threshold":"300000"}

使用ossfs 1.0掛載訪問OSS

ossfs 1.0是一款允許您在Linux系統上將OSS儲存空間掛載為本地檔案系統，與ossfs 2.0檔案操作方面相比，ossfs 1.0支援檔案操作方面更全面，如果遇到ossfs2掛載目錄後檔案操作不相容的情況，請嘗試使用ossfs1。

ossfs 1.0掛載所需要的具體參數，請參見ossfs 1.0掛載選項說明。

使用jindofuse掛載訪問OSS

利用JindoFuse組件將OSS資料集掛載到容器的指定路徑，該工具適用於以下情境：

• 您希望能夠像訪問本機資料集一樣讀取OSS資料，或者資料集較小，能有效利用JindoFuse的本機快取加速。

• 您有向OSS寫入資料的需求。

在資料集 > 進階配置中，您可以設定進階參數，多個配置之間使用半形逗號（,）分隔。以下僅為配置方式樣本，參數說明與更多參數配置，請參見JindoFuse使用指南和使用JindoFuse掛載訪問。

{ 
  "mountOssType":"jindofuse",
  "fs.oss.download.thread.concurrency": "cpu核心數2倍",
  "fs.oss.upload.thread.concurrency": "cpu核心數2倍",
  "attr_timeout": 3,
  "entry_timeout": 0,
  "negative_timeout": 0
}

使用NAS類型資料集

當添加的資料集類型為NAS時，您可以指定訪問NFS協議的Apsara File Storage NAS時的相關配置（nasOptions參數），以下為預設配置，您也可以參考手動掛載NFS協議檔案系統，自訂參數值。

{"nasOptions":"vers=3,nolock,proto=tcp,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,noresvport"}