Platform For AI:Gunakan OSS

Anda juga dapat menggunakan Python SDK untuk memodifikasi parameter JindoFuse.

1. Lengkapi prasyarat berikut.

   1. Instal SDK untuk AI Workspace.

      !pip install alibabacloud-aiworkspace20210204

   2. Konfigurasikan variabel lingkungan. Untuk informasi lebih lanjut, lihat Instal Credentials Tool dan Konfigurasikan variabel lingkungan di Linux, macOS, dan Windows.

2. Modifikasi parameter JindoFuse.

   Fast read/write

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
   
   
   def change_config():
       # Gunakan wilayah tempat pekerjaan DLC berjalan. Misalnya, gunakan cn-hangzhou untuk China (Hangzhou).
       region_id = 'cn-hangzhou'
       # AccessKey Akun Alibaba Cloud memiliki izin untuk memanggil semua API. Kami menyarankan Anda menggunakan Pengguna RAM untuk panggilan API dan O&M harian.
       # Kami sangat menyarankan agar Anda tidak menyimpan ID AccessKey atau Secret AccessKey dalam kode Anda. Jika tidak, AccessKey Anda dapat bocor dan membahayakan semua sumber daya dalam akun Anda.
       # Dalam contoh ini, Credentials SDK membaca AccessKey dari variabel lingkungan secara default untuk otentikasi. Anda harus menginstal Credentials tool dan mengonfigurasi variabel lingkungan terlebih dahulu.
       cred = CredClient()
       dataset_id = 'YOUR_DATASET_ID'
   
       workspace_client = AIWorkspaceClient(
           config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
           )
       )
       # 1. Dapatkan konten dataset.
       get_dataset_resp = workspace_client.get_dataset(dataset_id)
       options = json.loads(get_dataset_resp.body.options)
       # Nilai yang direkomendasikan: dua kali jumlah core CPU.
       options['fs.oss.download.thread.concurrency'] = 32
       options['fs.oss.upload.thread.concurrency'] = 32
       options['fs.jindo.args'] = '-oattr_timeout=3 -oentry_timeout=0 -onegative_timeout=0 -oauto_cache -ono_symlink'
   
       update_request = UpdateDatasetRequest(
           options=json.dumps(options)
       )
       # 2. Perbarui opsi.
       workspace_client.update_dataset(dataset_id, update_request)
       print('new options is: {}'.format(update_request.options))
   
   
   change_config()

   Incremental read/write

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
   
   
   def change_config():
       # Gunakan wilayah tempat pekerjaan DLC berjalan. Misalnya, gunakan cn-hangzhou untuk China (Hangzhou).
       region_id = 'cn-hangzhou'
       # AccessKey Akun Alibaba Cloud memiliki izin untuk memanggil semua API. Kami menyarankan Anda menggunakan Pengguna RAM untuk panggilan API dan O&M harian.
       # Kami sangat menyarankan agar Anda tidak menyimpan ID AccessKey atau Secret AccessKey dalam kode Anda. Jika tidak, AccessKey Anda dapat bocor dan membahayakan semua sumber daya dalam akun Anda.
       # Dalam contoh ini, Credentials SDK membaca AccessKey dari variabel lingkungan secara default untuk otentikasi. Anda harus menginstal Credentials tool dan mengonfigurasi variabel lingkungan terlebih dahulu.
       cred = CredClient()
       dataset_id = 'YOUR_DATASET_ID'
   
       workspace_client = AIWorkspaceClient(
           config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
           )
       )
       # 1. Dapatkan konten dataset.
       get_dataset_resp = workspace_client.get_dataset(dataset_id)
       options = json.loads(get_dataset_resp.body.options)
       # Nilai yang direkomendasikan: dua kali jumlah core CPU.
       options['fs.oss.upload.thread.concurrency'] = 32
       options['fs.jindo.args'] = '-oattr_timeout=3 -oentry_timeout=0 -onegative_timeout=0 -oauto_cache -ono_symlink'
   
       update_request = UpdateDatasetRequest(
           options=json.dumps(options)
       )
       # 2. Perbarui opsi.
       workspace_client.update_dataset(dataset_id, update_request)
       print('new options is: {}'.format(update_request.options))
   
   
   change_config()

   Consistent read/write

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
   
   
   def change_config():
       # Gunakan wilayah tempat pekerjaan DLC berjalan. Misalnya, gunakan cn-hangzhou untuk China (Hangzhou).
       region_id = 'cn-hangzhou'
       # AccessKey Akun Alibaba Cloud memiliki izin untuk memanggil semua API. Kami menyarankan Anda menggunakan Pengguna RAM untuk panggilan API dan O&M harian.
       # Kami sangat menyarankan agar Anda tidak menyimpan ID AccessKey atau Secret AccessKey dalam kode Anda. Jika tidak, AccessKey Anda dapat bocor dan membahayakan semua sumber daya dalam akun Anda.
       # Dalam contoh ini, Credentials SDK membaca AccessKey dari variabel lingkungan secara default untuk otentikasi. Anda harus menginstal Credentials tool dan mengonfigurasi variabel lingkungan terlebih dahulu.
       cred = CredClient()
       dataset_id = 'YOUR_DATASET_ID'
   
       workspace_client = AIWorkspaceClient(
           config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
           )
       )
       # 1. Dapatkan konten dataset.
       get_dataset_resp = workspace_client.get_dataset(dataset_id)
       options = json.loads(get_dataset_resp.body.options)
       options['fs.jindo.args'] = '-oattr_timeout=0 -oentry_timeout=0 -onegative_timeout=0 -oauto_cache -ono_symlink'
   
       update_request = UpdateDatasetRequest(
           options=json.dumps(options)
       )
       # 2. Perbarui opsi.
       workspace_client.update_dataset(dataset_id, update_request)
       print('new options is: {}'.format(update_request.options))
   
   
   change_config()

   Read-only

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
   
   
   def change_config():
       # Gunakan wilayah tempat pekerjaan DLC berjalan. Misalnya, gunakan cn-hangzhou untuk China (Hangzhou).
       region_id = 'cn-hangzhou'
       # AccessKey Akun Alibaba Cloud memiliki izin untuk memanggil semua API. Kami menyarankan Anda menggunakan Pengguna RAM untuk panggilan API dan O&M harian.
       # Kami sangat menyarankan agar Anda tidak menyimpan ID AccessKey atau Secret AccessKey dalam kode Anda. Jika tidak, AccessKey Anda dapat bocor dan membahayakan semua sumber daya dalam akun Anda.
       # Dalam contoh ini, Credentials SDK membaca AccessKey dari variabel lingkungan secara default untuk otentikasi. Anda harus menginstal Credentials tool dan mengonfigurasi variabel lingkungan terlebih dahulu.
       cred = CredClient()
       dataset_id = 'YOUR_DATASET_ID'
   
       workspace_client = AIWorkspaceClient(
           config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
           )
       )
       # 1. Dapatkan konten dataset.
       get_dataset_resp = workspace_client.get_dataset(dataset_id)
       options = json.loads(get_dataset_resp.body.options)
       # Nilai yang direkomendasikan: dua kali jumlah core CPU.
       options['fs.oss.download.thread.concurrency'] = 32
       options['fs.jindo.args'] = '-oro -oattr_timeout=7200 -oentry_timeout=7200 -onegative_timeout=7200 -okernel_cache -ono_symlink'
   
       update_request = UpdateDatasetRequest(
           options=json.dumps(options)
       )
       # 2. Perbarui opsi.
       workspace_client.update_dataset(dataset_id, update_request)
       print('new options is: {}'.format(update_request.options))
   
   
   change_config()

   Versi JindoFuse

   Contoh kodenya sebagai berikut:

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
   
   
   def change_version():
       # Gunakan wilayah tempat pekerjaan DLC berjalan. Misalnya, gunakan cn-hangzhou untuk China (Hangzhou).
       region_id = 'cn-hangzhou'
       # AccessKey Akun Alibaba Cloud memiliki izin untuk memanggil semua API. Kami menyarankan Anda menggunakan Pengguna RAM untuk panggilan API dan O&M harian.
       # Kami sangat menyarankan agar Anda tidak menyimpan ID AccessKey atau Secret AccessKey dalam kode Anda. Jika tidak, AccessKey Anda dapat bocor dan membahayakan semua sumber daya dalam akun Anda.
       # Dalam contoh ini, Credentials SDK membaca AccessKey dari variabel lingkungan secara default untuk otentikasi. Anda harus menginstal Credentials tool dan mengonfigurasi variabel lingkungan terlebih dahulu.
       cred = CredClient()
       dataset_id = 'YOUR_DATASET_ID'
   
       workspace_client = AIWorkspaceClient(
           config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
           )
       )
       # 1. Dapatkan konten dataset.
       get_dataset_resp = workspace_client.get_dataset(dataset_id)
       options = json.loads(get_dataset_resp.body.options)
       # Atur versi JindoFuse. Versi yang didukung meliputi 6.4.4, 6.7.0, dan 6.6.0. Untuk catatan rilis, lihat https://aliyun.github.io/alibabacloud-jindodata/releases/.
       options['fs.jindo.fuse.pod.image.tag'] = "6.7.0"
   
       update_request = UpdateDatasetRequest(
           options=json.dumps(options)
       )
       # 2. Perbarui opsi.
       workspace_client.update_dataset(dataset_id, update_request)
       print('new options is: {}'.format(update_request.options))
   change_version()

   Cache metadata

   Saat menjalankan pelatihan terdistribusi dan beberapa node mencoba menulis ke direktori yang sama secara bersamaan, cache dapat menyebabkan operasi tulis pada beberapa node gagal. Untuk mengatasi masalah ini, tambahkan argumen -oattr_timeout=0 -oentry_timeout=0 -onegative_timeout=0 ke baris perintah JindoFuse. Contoh kodenya sebagai berikut:

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
   
   
   def turnOffMetaCache():
       region_id = 'cn-hangzhou'
       # AccessKey Akun Alibaba Cloud memiliki izin untuk memanggil semua API. Kami menyarankan Anda menggunakan Pengguna RAM untuk panggilan API dan O&M harian.
       # Kami sangat menyarankan agar Anda tidak menyimpan ID AccessKey atau Secret AccessKey dalam kode Anda. Jika tidak, AccessKey Anda dapat bocor dan membahayakan semua sumber daya dalam akun Anda.
       # Dalam contoh ini, Credentials SDK membaca AccessKey dari variabel lingkungan secara default untuk otentikasi. Anda harus menginstal Credentials tool dan mengonfigurasi variabel lingkungan terlebih dahulu.
       cred = CredClient()
       dataset_id = 'YOUR_DATASET_ID'
       workspace_client = AIWorkspaceClient(
         config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
         )
       )
       # 1. Dapatkan konten dataset.
       get_dataset_resp = workspace_client.get_dataset(dataset_id)
       options = json.loads(get_dataset_resp.body.options)
   
       options['fs.jindo.args'] = '-oattr_timeout=0 -oentry_timeout=0 -onegative_timeout=0'
   
       update_request = UpdateDatasetRequest(
           options=json.dumps(options)
       )
       # 2. Perbarui opsi.
       workspace_client.update_dataset(dataset_id, update_request)
       print('new options is: {}'.format(update_request.options))
   
   
   turnOffMetaCache()
   

   Jumlah thread unggah/unduh

   Atur parameter berikut untuk menyesuaikan jumlah thread:

   • fs.oss.upload.thread.concurrency:32

   • fs.oss.download.thread.concurrency:32

   • fs.oss.read.readahead.buffer.count:64

   • fs.oss.read.readahead.buffer.size:4194304

   Contoh kodenya sebagai berikut:

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
   
   
   def adjustThreadNum():
       # Gunakan wilayah tempat pekerjaan DLC berjalan. Misalnya, gunakan cn-hangzhou untuk China (Hangzhou).
       region_id = 'cn-hangzhou'
       # AccessKey Akun Alibaba Cloud memiliki izin untuk memanggil semua API. Kami menyarankan Anda menggunakan Pengguna RAM untuk panggilan API dan O&M harian.
       # Kami sangat menyarankan agar Anda tidak menyimpan ID AccessKey atau Secret AccessKey dalam kode Anda. Jika tidak, AccessKey Anda dapat bocor dan membahayakan semua sumber daya dalam akun Anda.
       # Dalam contoh ini, Credentials SDK membaca AccessKey dari variabel lingkungan secara default untuk otentikasi. Anda harus menginstal Credentials tool dan mengonfigurasi variabel lingkungan terlebih dahulu.
       cred = CredClient()
       dataset_id = 'YOUR_DATASET_ID'
   
       workspace_client = AIWorkspaceClient(
           config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
           )
       )
       # 1. Dapatkan konten dataset.
       get_dataset_resp = workspace_client.get_dataset(dataset_id)
       options = json.loads(get_dataset_resp.body.options)
   
       options['fs.oss.upload.thread.concurrency'] = 32
       options['fs.oss.download.thread.concurrency'] = 32
       options['fs.oss.read.readahead.buffer.count'] = 64
    
       update_request = UpdateDatasetRequest(
           options=json.dumps(options)
       )
       # 2. Perbarui opsi.
       workspace_client.update_dataset(dataset_id, update_request)
       print('new options is: {}'.format(update_request.options))
    
    
   adjustThreadNum()
   

   Penulisan AppendObject

   Semua file yang dibuat secara lokal pada mount dibuat sebagai objek di OSS dengan memanggil API AppendObject. Ukuran objek yang dibuat menggunakan AppendObject tidak boleh melebihi 5 GB. Untuk batasan penggunaan lebih lanjut, lihat AppendObject. Contoh kodenya sebagai berikut:

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
   
   
   def useAppendObject():
       # Gunakan wilayah tempat pekerjaan DLC berjalan. Misalnya, gunakan cn-hangzhou untuk China (Hangzhou).
       region_id = 'cn-hangzhou'
       # AccessKey Akun Alibaba Cloud memiliki izin untuk memanggil semua API. Kami menyarankan Anda menggunakan Pengguna RAM untuk panggilan API dan O&M harian.
       # Kami sangat menyarankan agar Anda tidak menyimpan ID AccessKey atau Secret AccessKey dalam kode Anda. Jika tidak, AccessKey Anda dapat bocor dan membahayakan semua sumber daya dalam akun Anda.
       # Dalam contoh ini, Credentials SDK membaca AccessKey dari variabel lingkungan secara default untuk otentikasi. Anda harus menginstal Credentials tool dan mengonfigurasi variabel lingkungan terlebih dahulu.
       cred = CredClient()
       dataset_id = 'YOUR_DATASET_ID'
   
       workspace_client = AIWorkspaceClient(
           config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
           )
       )
       # 1. Dapatkan konten dataset.
       get_dataset_resp = workspace_client.get_dataset(dataset_id)
       options = json.loads(get_dataset_resp.body.options)
   
       options['fs.jindo.args'] = '-oattr_timeout=0 -oentry_timeout=0 -onegative_timeout=0'
       options['fs.oss.append.enable'] = "true"
       options['fs.oss.flush.interval.millisecond'] = "1000"
       options['fs.oss.read.buffer.size'] = "262144"
       options['fs.oss.write.buffer.size'] = "262144"
   
       update_request = UpdateDatasetRequest(
           options=json.dumps(options)
       )
       # 2. Perbarui opsi.
       workspace_client.update_dataset(dataset_id, update_request)
       print('new options is: {}'.format(update_request.options))
   
   
   useAppendObject()

   OSS-HDFS

   Untuk informasi tentang cara mengaktifkan OSS-HDFS, lihat Apa itu Layanan OSS-HDFS?. Contoh berikut menunjukkan cara membuat dataset yang menggunakan endpoint OSS-HDFS:

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import CreateDatasetRequest
   
   
   def createOssHdfsDataset():
       # Gunakan wilayah tempat pekerjaan DLC berjalan. Misalnya, gunakan cn-hangzhou untuk China (Hangzhou).
       region_id = 'cn-hangzhou'
       # AccessKey Akun Alibaba Cloud memiliki izin untuk memanggil semua API. Kami menyarankan Anda menggunakan Pengguna RAM untuk panggilan API dan O&M harian.
       # Kami sangat menyarankan agar Anda tidak menyimpan ID AccessKey atau Secret AccessKey dalam kode Anda. Jika tidak, AccessKey Anda dapat bocor dan membahayakan semua sumber daya dalam akun Anda.
       # Dalam contoh ini, Credentials SDK membaca AccessKey dari variabel lingkungan secara default untuk otentikasi. Anda harus menginstal Credentials tool dan mengonfigurasi variabel lingkungan terlebih dahulu.
       cred = CredClient()
       workspace_id = 'YOUR_WORKSPACE_ID'
   
       oss_bucket = 'YOUR_OSS_BUCKET'
       # Gunakan endpoint OSS-HDFS.
       oss_endpoint = f'{region_id}.oss-dls.aliyuncs.com'
       # Path OSS-HDFS yang akan dipasang.
       oss_path = '/'
       # Path mount lokal.
       mount_path = '/mnt/data/'
   
       workspace_client = AIWorkspaceClient(
           config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
           )
       )
   
       response = workspace_client.create_dataset(CreateDatasetRequest(
           workspace_id=workspace_id,
           name="YOUR_DATASET_NAME",
           data_type='COMMON',
           data_source_type='OSS',
           property='DIRECTORY',
           uri=f'oss://{oss_bucket}.{oss_endpoint}{oss_path}',
           accessibility='PRIVATE',
           source_type='USER',
           options=json.dumps({
               'mountPath': mount_path,
               # Dalam skenario pelatihan terdistribusi, kami merekomendasikan menambahkan parameter berikut.
               'fs.jindo.args': '-oattr_timeout=0 -oentry_timeout=0 -onegative_timeout=0 -ono_symlink -ono_xattr -ono_flock -odirect_io',
               'fs.oss.flush.interval.millisecond': "10000",
               'fs.oss.randomwrite.sync.interval.millisecond': "10000",
           })
       ))
       print(f'datasetId: {response.body.dataset_id}')
   
   createOssHdfsDataset()
   
   

   Sumber daya memori

   Anda dapat mengatur parameter fs.jindo.fuse.pod.mem.limit untuk menyesuaikan batas memori. Contoh kodenya sebagai berikut:

   import json
   from alibabacloud_tea_openapi.models import Config
   from alibabacloud_credentials.client import Client as CredClient
   from alibabacloud_aiworkspace20210204.client import Client as AIWorkspaceClient
   from alibabacloud_aiworkspace20210204.models import UpdateDatasetRequest
   
   
   def adjustResource():
       # Gunakan wilayah tempat pekerjaan DLC berjalan. Misalnya, gunakan cn-hangzhou untuk China (Hangzhou).
       region_id = 'cn-hangzhou'
       # AccessKey Akun Alibaba Cloud memiliki izin untuk memanggil semua API. Kami menyarankan Anda menggunakan Pengguna RAM untuk panggilan API dan O&M harian.
       # Kami sangat menyarankan agar Anda tidak menyimpan ID AccessKey atau Secret AccessKey dalam kode Anda. Jika tidak, AccessKey Anda dapat bocor dan membahayakan semua sumber daya dalam akun Anda.
       # Dalam contoh ini, Credentials SDK membaca AccessKey dari variabel lingkungan secara default untuk otentikasi. Anda harus menginstal Credentials tool dan mengonfigurasi variabel lingkungan terlebih dahulu.
       cred = CredClient()
       dataset_id = 'YOUR_DATASET_ID'
   
       workspace_client = AIWorkspaceClient(
           config=Config(
               credential=cred,
               region_id=region_id,
               endpoint="aiworkspace.{}.aliyuncs.com".format(region_id),
           )
       )
       # 1. Dapatkan konten dataset.
       get_dataset_resp = workspace_client.get_dataset(dataset_id)
       options = json.loads(get_dataset_resp.body.options)
       # Sumber daya memori yang akan dikonfigurasi.
       options['fs.jindo.fuse.pod.mem.limit'] = "10Gi"
   
       update_request = UpdateDatasetRequest(
           options=json.dumps(options)
       )
       # 2. Perbarui opsi.
       workspace_client.update_dataset(dataset_id, update_request)
       print('new options is: {}'.format(update_request.options))
   
   
   adjustResource()