Platform For AI：OSS使用

您還可以通過Python SDK的方式修改JindoFuse參數

1. 完成以下準備工作。

   1. 安裝工作空間的SDK。

      !pip install alibabacloud-aiworkspace20210204

   2. 配置環境變數。具體操作，請參見安裝Credentials工具和在Linux、macOS和Windows系統配置環境變數。

2. 修改JindoFuse參數。

   快速讀寫

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
   
   
   def change_config():
       # 使用DLC任務所在地區。例如華東1（杭州）配置為cn-hangzhou。
       region_id = 'cn-hangzhou'
       # 阿里雲帳號AccessKey擁有所有API的存取權限，建議您使用RAM使用者進行API訪問或日常營運。
       # 強烈建議不要把AccessKey ID和AccessKey Secret儲存到工程代碼裡，否則可能導致AccessKey泄露，威脅您帳號下所有資源的安全。
       # 本樣本通過Credentials SDK預設從環境變數中讀取AccessKey，來實現身分識別驗證。您需要先安裝Credentials工具和配置環境變數。
       cred = CredClient()
       dataset_id = '** 資料集的ID **'
   
       workspace_client = AIWorkspaceClient(
           config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
           )
       )
       # 1、get the content of dataset
       get_dataset_resp = workspace_client.get_dataset(dataset_id)
       options = json.loads(get_dataset_resp.body.options)
       # 建議值設定為CPU核心數的2倍
       options['fs.oss.download.thread.concurrency'] = 32
       options['fs.oss.upload.thread.concurrency'] = 32
       options['fs.jindo.args'] = '-oattr_timeout=3 -oentry_timeout=0 -onegative_timeout=0 -oauto_cache -ono_symlink'
   
       update_request = UpdateDatasetRequest(
           options=json.dumps(options)
       )
       # 2、update options
       workspace_client.update_dataset(dataset_id, update_request)
       print('new options is: {}'.format(update_request.options))
   
   
   change_config()

   增量讀寫

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
   
   
   def change_config():
       # 使用DLC任務所在地區。例如華東1（杭州）配置為cn-hangzhou。
       region_id = 'cn-hangzhou'
       # 阿里雲帳號AccessKey擁有所有API的存取權限，建議您使用RAM使用者進行API訪問或日常營運。
       # 強烈建議不要把AccessKey ID和AccessKey Secret儲存到工程代碼裡，否則可能導致AccessKey泄露，威脅您帳號下所有資源的安全。
       # 本樣本通過Credentials SDK預設從環境變數中讀取AccessKey，來實現身分識別驗證。您需要先安裝Credentials工具和配置環境變數。
       cred = CredClient()
       dataset_id = '** 資料集的ID **'
   
       workspace_client = AIWorkspaceClient(
           config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
           )
       )
       # 1、get the content of dataset
       get_dataset_resp = workspace_client.get_dataset(dataset_id)
       options = json.loads(get_dataset_resp.body.options)
       # 建議值設定為CPU核心數的2倍
       options['fs.oss.upload.thread.concurrency'] = 32
       options['fs.jindo.args'] = '-oattr_timeout=3 -oentry_timeout=0 -onegative_timeout=0 -oauto_cache -ono_symlink'
   
       update_request = UpdateDatasetRequest(
           options=json.dumps(options)
       )
       # 2、update options
       workspace_client.update_dataset(dataset_id, update_request)
       print('new options is: {}'.format(update_request.options))
   
   
   change_config()

   讀寫一致

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
   
   
   def change_config():
       # 使用DLC任務所在地區。例如華東1（杭州）配置為cn-hangzhou。
       region_id = 'cn-hangzhou'
       # 阿里雲帳號AccessKey擁有所有API的存取權限，建議您使用RAM使用者進行API訪問或日常營運。
       # 強烈建議不要把AccessKey ID和AccessKey Secret儲存到工程代碼裡，否則可能導致AccessKey泄露，威脅您帳號下所有資源的安全。
       # 本樣本通過Credentials SDK預設從環境變數中讀取AccessKey，來實現身分識別驗證。您需要先安裝Credentials工具和配置環境變數。
       cred = CredClient()
       dataset_id = '** 資料集的ID **'
   
       workspace_client = AIWorkspaceClient(
           config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
           )
       )
       # 1、get the content of dataset
       get_dataset_resp = workspace_client.get_dataset(dataset_id)
       options = json.loads(get_dataset_resp.body.options)
       options['fs.jindo.args'] = '-oattr_timeout=0 -oentry_timeout=0 -onegative_timeout=0 -oauto_cache -ono_symlink'
   
       update_request = UpdateDatasetRequest(
           options=json.dumps(options)
       )
       # 2、update options
       workspace_client.update_dataset(dataset_id, update_request)
       print('new options is: {}'.format(update_request.options))
   
   
   change_config()

   唯讀

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
   
   
   def change_config():
       # 使用DLC任務所在地區。例如華東1（杭州）配置為cn-hangzhou。
       region_id = 'cn-hangzhou'
       # 阿里雲帳號AccessKey擁有所有API的存取權限，建議您使用RAM使用者進行API訪問或日常營運。
       # 強烈建議不要把AccessKey ID和AccessKey Secret儲存到工程代碼裡，否則可能導致AccessKey泄露，威脅您帳號下所有資源的安全。
       # 本樣本通過Credentials SDK預設從環境變數中讀取AccessKey，來實現身分識別驗證。您需要先安裝Credentials工具和配置環境變數。
       cred = CredClient()
       dataset_id = '** 資料集的ID **'
   
       workspace_client = AIWorkspaceClient(
           config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
           )
       )
       # 1、get the content of dataset
       get_dataset_resp = workspace_client.get_dataset(dataset_id)
       options = json.loads(get_dataset_resp.body.options)
       # 建議值設定為CPU核心數的2倍
       options['fs.oss.download.thread.concurrency'] = 32
       options['fs.jindo.args'] = '-oro -oattr_timeout=7200 -oentry_timeout=7200 -onegative_timeout=7200 -okernel_cache -ono_symlink'
   
       update_request = UpdateDatasetRequest(
           options=json.dumps(options)
       )
       # 2、update options
       workspace_client.update_dataset(dataset_id, update_request)
       print('new options is: {}'.format(update_request.options))
   
   
   change_config()

   選擇不同的JindoFuse版本

   範例程式碼如下：

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
   
   
   def change_version():
       # 使用DLC任務所在地區。例如華東1（杭州）配置為cn-hangzhou。
       region_id = 'cn-hangzhou'
       # 阿里雲帳號AccessKey擁有所有API的存取權限，建議您使用RAM使用者進行API訪問或日常營運。
       # 強烈建議不要把AccessKey ID和AccessKey Secret儲存到工程代碼裡，否則可能導致AccessKey泄露，威脅您帳號下所有資源的安全。
       # 本樣本通過Credentials SDK預設從環境變數中讀取AccessKey，來實現身分識別驗證。您需要先安裝Credentials工具和配置環境變數。
       cred = CredClient()
       dataset_id = '** 資料集的ID **'
   
       workspace_client = AIWorkspaceClient(
           config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
           )
       )
       # 1、get the content of dataset
       get_dataset_resp = workspace_client.get_dataset(dataset_id)
       options = json.loads(get_dataset_resp.body.options)
       # 配置jindo-fuse的版本，可以配置為6.4.4， 6.7.0，6.6.0，release note詳見：https://aliyun.github.io/alibabacloud-jindodata/releases/
       options['fs.jindo.fuse.pod.image.tag'] = "6.7.0"
   
       update_request = UpdateDatasetRequest(
           options=json.dumps(options)
       )
       # 2、update options
       workspace_client.update_dataset(dataset_id, update_request)
       print('new options is: {}'.format(update_request.options))
   change_version()

   關掉中繼資料Cache

   當執行分布式任務且多個節點同時嘗試向同一目錄寫檔案時，Cache可能會引起部分節點的寫入操作失敗。您可以通過修改fuse的命令列參數，增加-oattr_timeout=0-oentry_timeout=0-onegative_timeout=0來解決該問題。範例程式碼如下。

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
   
   
   def turnOffMetaCache():
       region_id = 'cn-hangzhou'
       # 阿里雲帳號AccessKey擁有所有API的存取權限，建議您使用RAM使用者進行API訪問或日常營運。
       # 強烈建議不要把AccessKey ID和AccessKey Secret儲存到工程代碼裡，否則可能導致AccessKey泄露，威脅您帳號下所有資源的安全。
       # 本樣本通過Credentials SDK預設從環境變數中讀取AccessKey，來實現身分識別驗證。您需要先安裝Credentials工具和配置環境變數。
       cred = CredClient()
       dataset_id = '** 資料集的ID **'
       workspace_client = AIWorkspaceClient(
         config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
         )
       )
       # 1、get the content of dataset
       get_dataset_resp = workspace_client.get_dataset(dataset_id)
       options = json.loads(get_dataset_resp.body.options)
   
       options['fs.jindo.args'] = '-oattr_timeout=0 -oentry_timeout=0 -onegative_timeout=0'
   
       update_request = UpdateDatasetRequest(
           options=json.dumps(options)
       )
       # 2、update options
       workspace_client.update_dataset(dataset_id, update_request)
       print('new options is: {}'.format(update_request.options))
   
   
   turnOffMetaCache()
   

   調整上傳（下載）資料的線程數目

   通過配置以下參數來調整線程資料：

   • fs.oss.upload.thread.concurrency:32

   • fs.oss.download.thread.concurrency:32

   • fs.oss.read.readahead.buffer.count:64

   • fs.oss.read.readahead.buffer.size:4194304

   範例程式碼如下：

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
   
   
   def adjustThreadNum():
       # 使用DLC任務所在地區。例如華東1（杭州）配置為cn-hangzhou。
       region_id = 'cn-hangzhou'
       # 阿里雲帳號AccessKey擁有所有API的存取權限，建議您使用RAM使用者進行API訪問或日常營運。
       # 強烈建議不要把AccessKey ID和AccessKey Secret儲存到工程代碼裡，否則可能導致AccessKey泄露，威脅您帳號下所有資源的安全。
       # 本樣本通過Credentials SDK預設從環境變數中讀取AccessKey，來實現身分識別驗證。您需要先安裝Credentials工具和配置環境變數。
       cred = CredClient()
       dataset_id = '** 資料集的ID **'
   
       workspace_client = AIWorkspaceClient(
           config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
           )
       )
       # 1、get the content of dataset
       get_dataset_resp = workspace_client.get_dataset(dataset_id)
       options = json.loads(get_dataset_resp.body.options)
   
       options['fs.oss.upload.thread.concurrency'] = 32
       options['fs.oss.download.thread.concurrency'] = 32
       options['fs.oss.read.readahead.buffer.count'] = 32
    
       update_request = UpdateDatasetRequest(
           options=json.dumps(options)
       )
       # 2、update options
       workspace_client.update_dataset(dataset_id, update_request)
       print('new options is: {}'.format(update_request.options))
    
    
   adjustThreadNum()
   

   使用AppendObject方式掛載OSS檔案

   所有在本地OSS建立的檔案，都會調用OSS的AppendObject介面來建立Object（檔案）。通過AppendObject方式最後產生的Object大小不得超過5 GB，關於AppendObject的更多使用限制，請參見AppendObject。範例程式碼如下：

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
   
   
   def useAppendObject():
       # 使用DLC任務所在地區。例如華東1（杭州）配置為cn-hangzhou。
       region_id = 'cn-hangzhou'
       # 阿里雲帳號AccessKey擁有所有API的存取權限，建議您使用RAM使用者進行API訪問或日常營運。
       # 強烈建議不要把AccessKey ID和AccessKey Secret儲存到工程代碼裡，否則可能導致AccessKey泄露，威脅您帳號下所有資源的安全。
       # 本樣本通過Credentials SDK預設從環境變數中讀取AccessKey，來實現身分識別驗證。您需要先安裝Credentials工具和配置環境變數。
       cred = CredClient()
       dataset_id = '** 資料集的ID **'
   
       workspace_client = AIWorkspaceClient(
           config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
           )
       )
       # 1、get the content of dataset
       get_dataset_resp = workspace_client.get_dataset(dataset_id)
       options = json.loads(get_dataset_resp.body.options)
   
       options['fs.jindo.args'] = '-oattr_timeout=0 -oentry_timeout=0 -onegative_timeout=0'
       options['fs.oss.append.enable'] = "true"
       options['fs.oss.flush.interval.millisecond'] = "1000"
       options['fs.oss.read.buffer.size'] = "262144"
       options['fs.oss.write.buffer.size'] = "262144"
   
       update_request = UpdateDatasetRequest(
           options=json.dumps(options)
       )
       # 2、update options
       workspace_client.update_dataset(dataset_id, update_request)
       print('new options is: {}'.format(update_request.options))
   
   
   useAppendObject()

   掛載OSS-HDFS

   如何開通OSS-HDFS，請參見什麼是OSS-HDFS服務。使用OSS-HDFS的Endpoint來建立資料集的範例程式碼如下：

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import CreateDatasetRequest
   
   
   def createOssHdfsDataset():
       # 使用DLC任務所在地區。例如華東1（杭州）配置為cn-hangzhou。
       region_id = 'cn-hangzhou'
       # 阿里雲帳號AccessKey擁有所有API的存取權限，建議您使用RAM使用者進行API訪問或日常營運。
       # 強烈建議不要把AccessKey ID和AccessKey Secret儲存到工程代碼裡，否則可能導致AccessKey泄露，威脅您帳號下所有資源的安全。
       # 本樣本通過Credentials SDK預設從環境變數中讀取AccessKey，來實現身分識別驗證。您需要先安裝Credentials工具和配置環境變數。
       cred = CredClient()
       workspace_id = '** DLC任務所在工作空間ID **'
   
       oss_bucket = '** OSS-Bucket **'
       # 使用OSS-HDFS的Endpoint。
       oss_endpoint = f'{region_id}.oss-dls.aliyuncs.com'
       # 需要掛載的OSS-HDFS路徑。
       oss_path = '/'
       # 本地掛載路徑。
       mount_path = '/mnt/data/'
   
       workspace_client = AIWorkspaceClient(
           config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
           )
       )
   
       response = workspace_client.create_dataset(CreateDatasetRequest(
           workspace_id=workspace_id,
           name="** 資料集的名字 **",
           data_type='COMMON',
           data_source_type='OSS',
           property='DIRECTORY',
           uri=f'oss://{oss_bucket}.{oss_endpoint}{oss_path}',
           accessibility='PRIVATE',
           source_type='USER',
           options=json.dumps({
               'mountPath': mount_path,
               # 在分布式訓練的情境下建議增加以下參數。
               'fs.jindo.args': '-oattr_timeout=0 -oentry_timeout=0 -onegative_timeout=0 -ono_symlink -ono_xattr -ono_flock -odirect_io',
               'fs.oss.flush.interval.millisecond': "10000",
               'fs.oss.randomwrite.sync.interval.millisecond': "10000",
           })
       ))
       print(f'datasetId: {response.body.dataset_id}')
   
   createOssHdfsDataset()
   
   

   配置記憶體資源

   通過配置fs.jindo.fuse.pod.mem.limit參數來調整記憶體資源，範例程式碼如下：

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
   
   
   def adjustResource():
       # 使用DLC任務所在地區。例如華東1（杭州）配置為cn-hangzhou。
       region_id = 'cn-hangzhou'
       # 阿里雲帳號AccessKey擁有所有API的存取權限，建議您使用RAM使用者進行API訪問或日常營運。
       # 強烈建議不要把AccessKey ID和AccessKey Secret儲存到工程代碼裡，否則可能導致AccessKey泄露，威脅您帳號下所有資源的安全。
       # 本樣本通過Credentials SDK預設從環境變數中讀取AccessKey，來實現身分識別驗證。您需要先安裝Credentials工具和配置環境變數。
       cred = CredClient()
       dataset_id = '** 資料集的ID **'
   
       workspace_client = AIWorkspaceClient(
           config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
           )
       )
       # 1、get the content of dataset
       get_dataset_resp = workspace_client.get_dataset(dataset_id)
       options = json.loads(get_dataset_resp.body.options)
       # 需要配置的記憶體資源。
       options['fs.jindo.fuse.pod.mem.limit'] = "10Gi"
   
       update_request = UpdateDatasetRequest(
           options=json.dumps(options)
       )
       # 2、update options
       workspace_client.update_dataset(dataset_id, update_request)
       print('new options is: {}'.format(update_request.options))
   
   
   adjustResource()