DataWorks:Gunakan dataset

Prasyarat: buat dataset

1. Buat bucket atau buat sistem file.

   Contoh ini menggunakan dataset OSS. Buat bucket bernama datasets-oss di wilayah China (Shanghai), lalu buat direktori /dataset01/v1.

2. Buat dataset.

   Dalam contoh ini, buat dataset OSS bernama datasets-oss dan pasang jalur OSS oss://datasets-oss.oss-cn-shanghai.aliyuncs.com/dataset01/v1/ ke /mnt/data/dataset01.

1. Konfigurasikan dataset untuk node

Pada Debug Configuration node Shell atau Python, konfigurasikan dataset datasets-oss.

2. Gunakan dataset di node

Contoh ini menggunakan node Shell. Setelah Anda menyambungkan dataset OSS ke node Shell, Anda dapat mengelola data OSS dalam kode node Shell seolah-olah itu adalah file lokal. Contoh berikut menggunakan tool ossfs 2.0 default untuk menulis file file01.txt ke jalur pemasangan /mnt/data/dataset01 dari dataset OSS datasets-oss.

Kode contoh:

echo "Hello World" > /mnt/data/dataset01/file01.txt
ls -tl /mnt/data/dataset01

Di panel Debug Configurations di sebelah kanan, buka tab Dataset dan pilih dataset kustom datasets-oss/V1. Konfirmasi pesan otorisasi resource group yang berhasil, dan pastikan sakelar Read-only dimatikan. Setelah menjalankan node, log menunjukkan bahwa file01.txt berhasil dibuat (12 byte, izin: rwxrwxrwx), kode keluar adalah 0, waktu yang berlalu adalah 0,741 detik, dan statusnya FINISH.

3. Verifikasi data di OSS

Setelah kode di 2. Gunakan dataset di node dijalankan, file tersebut secara otomatis ditulis ke jalur penyimpanan OSS yang sesuai dengan jalur pemasangan dataset. Anda dapat melihat file tersebut di jalur penyimpanan OSS. Dalam contoh ini, jalur pemasangan /mnt/data/dataset01 dari dataset OSS datasets-oss dipetakan ke oss://datasets-oss.oss-cn-shanghai.aliyuncs.com/dataset01/v1/. Gambar berikut menunjukkan contoh data yang ditulis ke jalur OSS.

Di jalur ini, Anda dapat menemukan file yang ditulis file01.txt (0,012 KB, penyimpanan Standard).

Prasyarat: buat dataset

1. Buat bucket atau buat sistem file.

2. Buat dataset.

   Contoh ini menggunakan dataset berbasis NAS. Buat dataset NAS bernama datasets-nas di wilayah China (Shanghai), lalu pasang jalur NAS nas://****.cn-shanghai.nas.aliyuncs.com/mnt/dataset02/v1/ ke /mnt/data/dataset02.

1. Konfigurasikan dataset untuk lingkungan pribadi

Buat instans lingkungan pengembangan pribadi dan pilih dataset NAS yang sudah ada datasets-nas.

Di halaman konfigurasi, pilih datasets-nas dari daftar drop-down Dataset dan tentukan jalur pemasangannya yang sesuai.

{"nasOptions":"vers=3,nolock,proto=tcp,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,noresvport"}

2. Gunakan dataset di Notebook

1. Di bagian atas halaman DataStudio, beralihlah ke instans lingkungan pengembangan pribadi, lalu buat Notebook untuk pengembangan dasar.

2. Di Notebook, tambahkan konten berikut.

   1. Tulis data ke jalur tertentu di dataset.

      import os
      # Tentukan jalur tujuan dan nama file
      file_path = "/mnt/data/dataset02/file02.txt"
      # Pastikan direktori sudah ada. Jika belum, buat direktori tersebut.
      os.makedirs(os.path.dirname(file_path),exist_ok=True)
      # Tulis kontennya
      content = "Hello World!"
      try:
          with open(file_path, "w", encoding="utf-8") as file:
              file.write(content)
          print(f"File berhasil ditulis ke {file_path}")
      except Exception as e:
          print(f"Gagal menulis file: {str(e)}")

   2. Baca data dari jalur tertentu di dataset.

      file_path = "/mnt/data/dataset02/file02.txt"
      with open(file_path, "r") as file:
          content = file.read()
      content

3. Jalankan dua potongan kode Python tersebut secara terpisah.

   Catatan

   Sebelum menjalankan kode, pastikan Anda telah memilih kernel Python yang benar. Contoh ini menggunakan Python 3.11.9.

   Potongan kode pertama: Tulis data ke jalur tertentu di dataset.

   import os
   # Tentukan jalur tujuan dan nama file
   file_path = "/mnt/data/dataset02/file02.txt"
   # Pastikan direktori sudah ada. Jika belum, buat direktori tersebut.
   os.makedirs(os.path.dirname(file_path),exist_ok=True)
   # Tulis kontennya
   content = "Hello World!"
   try:
       with open(file_path, "w", encoding="utf-8") as file:
           file.write(content)
           print(f"File berhasil ditulis ke {file_path}")
   except Exception as e:
       print(f"Gagal menulis file: {str(e)}")

   Jika output-nya adalah File berhasil ditulis ke /mnt/data/dataset02/file02.txt, operasi penulisan berhasil. Potongan kode kedua: Baca data dari jalur tertentu di dataset.

   file_path = "/mnt/data/dataset02/file02.txt"
   with open(file_path, "r") as file:
       content = file.read()
       content

   Jika output-nya adalah 'Hello World!', operasi pembacaan berhasil.

3. Konfigurasikan penjadwalan

Di sisi kanan node Notebook, klik Scheduling Settings dan tambahkan opsi dataset. Gunakan parameter yang sama seperti yang dikonfigurasi untuk instans lingkungan pengembangan pribadi.

Pasang OSS dengan ossfs 2.0

ossfs 2.0 adalah klien yang memasang OSS untuk akses berkinerja tinggi. Tool ini memberikan throughput baca/tulis sekuensial tinggi dan memanfaatkan bandwidth OSS secara penuh. Tool ini cocok untuk aplikasi komputasi-intensif yang memerlukan kinerja I/O sekuensial tinggi, seperti pelatihan AI dan pemrosesan data besar. Skenario beban kerja ini terutama melibatkan pembacaan sekuensial dan acak serta penulisan sekuensial (append-only), dan tidak memerlukan semantik POSIX lengkap.

Di bagian DatasetsAdvanced Settings, Anda dapat mengatur parameter lanjutan. Pisahkan beberapa opsi dengan koma (,). Untuk petunjuk penggunaan parameter lanjutan dan opsi konfigurasi lainnya, lihat opsi pemasangan ossfs 2.0. Contoh berikut menunjukkan beberapa skenario umum:

• Sumber data immutable: Jika semua file yang Anda baca tidak dimodifikasi selama tugas, Anda dapat mengatur waktu cache yang panjang untuk mengurangi jumlah permintaan metadata. Skenario khasnya adalah membaca batch file yang sudah ada dan menghasilkan batch file baru setelah pemrosesan.

  {"mountOssType":"ossfs", "attr_timeout": "7200"}

• Operasi baca dan tulis cepat: Gunakan waktu cache metadata yang pendek untuk menyeimbangkan efisiensi cache dan ketepatan waktu data.

  {"mountOssType":"ossfs", "attr_timeout": "3", "negative_timeout":"0"}

• Tampilan konsisten untuk tugas terdistribusi: Secara default, ossfs memperbarui data file berdasarkan cache metadata. Gunakan konfigurasi berikut untuk mencapai tampilan yang disinkronkan di beberapa node.

  { "mountOssType":"ossfs","negative_timeout": "0", "close_to_open":"false"}

• OOM akibat membuka terlalu banyak file: Konkurensi tugas tinggi dengan sejumlah besar file yang dibuka secara bersamaan dapat menyebabkan masalah kehabisan memori (OOM). Gunakan konfigurasi berikut untuk mengurangi tekanan memori.

  {"mountOssType":"ossfs","readdirplus": "false", "inode_cache_eviction_threshold":"300000"}

Pasang OSS dengan ossfs 1.0

ossfs 1.0 memasang bucket OSS sebagai sistem file lokal pada sistem Linux. Dibandingkan dengan ossfs 2.0, ossfs 1.0 menyediakan dukungan operasi file yang lebih komprehensif. Jika Anda mengalami ketidakcocokan operasi file dengan ossfs 2.0, coba gunakan ossfs 1.0 sebagai gantinya.

Untuk informasi lebih lanjut tentang parameter yang diperlukan untuk pemasangan dengan ossfs 1.0, lihat opsi pemasangan ossfs 1.0.

Pasang OSS dengan JindoFuse

Anda dapat menggunakan komponen JindoFuse untuk memasang dataset OSS ke jalur tertentu dalam kontainer. Tool ini cocok untuk skenario berikut:

• Anda ingin membaca data OSS seolah-olah itu adalah dataset lokal, atau dataset tersebut cukup kecil sehingga dapat memanfaatkan akselerasi cache lokal JindoFuse.

• Anda perlu menulis data ke OSS.

Di bagian DatasetsAdvanced Settings, Anda dapat mengatur parameter lanjutan. Pisahkan beberapa opsi dengan koma (,). Kode berikut hanya menunjukkan contoh. Untuk deskripsi parameter dan opsi konfigurasi lainnya, lihat Panduan Pengguna JindoFuse dan Gunakan JindoFuse untuk memasang dan mengakses data.

{ 
  "mountOssType":"jindofuse",
  "fs.oss.download.thread.concurrency": "2 × jumlah core CPU",
  "fs.oss.upload.thread.concurrency": "2 × jumlah core CPU",
  "attr_timeout": 3,
  "entry_timeout": 0,
  "negative_timeout": 0
}

Gunakan dataset NAS

Untuk dataset berbasis NAS, Anda dapat menentukan konfigurasi (menggunakan parameter nasOptions) untuk mengakses sistem file Apsara File Storage NAS (NAS) berbasis NFS. Kode berikut menunjukkan konfigurasi default. Untuk menyesuaikan nilai parameter, lihat Memasang sistem file NFS secara manual.

{"nasOptions":"vers=3,nolock,proto=tcp,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,noresvport"}