DataWorks：Gunakan set data

Persiapan: Buat set data

1. Buat bucket atau buat sistem file.

   Contoh ini menggunakan set data OSS. Sebuah bucket bernama datasets-oss dibuat di wilayah Tiongkok (Shanghai), dan folder /dataset01/v1 dibuat.

2. Buat set data.

   Dalam contoh ini, sebuah set data OSS bernama datasets-oss dibuat. Jalur OSS oss://datasets-oss.oss-cn-shanghai.aliyuncs.com/dataset01/v1/ dipasang ke /mnt/data/dataset01.

1. Konfigurasikan set data untuk sebuah node

Konfigurasikan set data datasets-oss di Debug Configurations sebuah node Shell atau Python.

2. Gunakan set data di node

Bagian ini menggunakan node Shell sebagai contoh. Setelah Anda menyambungkan set data OSS ke node Shell, Anda dapat mengelola data OSS dalam kode node Shell seperti mengelola file lokal. Contoh berikut menunjukkan cara menggunakan alat ossfs 2.0 default untuk mengunggah file file01.txt ke jalur pemasangan /mnt/data/dataset01 dari set data datasets-oss dan menulis data ke file tersebut.

Kode contoh:

echo "Hello World" > /mnt/data/dataset01/file01.txt
ls -tl /mnt/data/dataset01

3. Verifikasi bahwa data telah ditulis di OSS

Setelah kode di 2. Gunakan set data di node dieksekusi, file tersebut secara otomatis ditulis ke jalur penyimpanan OSS yang sesuai dengan jalur pemasangan set data. Anda dapat menavigasi ke jalur penyimpanan OSS untuk melihat file yang ditulis dari node DataWorks. Dalam contoh ini, jalur penyimpanan yang sesuai dengan jalur pemasangan /mnt/data/dataset01 dari set data OSS datasets-oss adalah oss://datasets-oss.oss-cn-shanghai.aliyuncs.com/dataset01/v1/. Gambar berikut menunjukkan contoh data yang ditulis ke jalur OSS.

Persiapan: Buat set data

1. Buat bucket atau buat sistem file.

2. Buat set data.

   Contoh ini menggunakan set data NAS. Sebuah set data NAS bernama datasets-nas dibuat di wilayah Tiongkok (Shanghai). Jalur NAS nas://****.cn-shanghai.nas.aliyuncs.com/mnt/dataset02/v1/ dipasang ke /mnt/data/dataset02.

1. Konfigurasikan set data untuk lingkungan pengembangan pribadi

Buat instans lingkungan pengembangan pribadi dan pilih set data NAS datasets-nas yang telah Anda buat.

{"nasOptions":"vers=3,nolock,proto=tcp,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,noresvport"}

2. Baca set data di Notebook

1. Di bagian atas halaman Data Studio, beralihlah ke instans lingkungan pengembangan pribadi dan buat Notebook.

2. Konfigurasikan konten berikut di Notebook.

   1. Tulis data ke jalur tertentu dalam set data.

      import os
      
      # Definisikan jalur tujuan dan nama file.
      file_path = "/mnt/data/dataset02/file02.txt"
      
      # Pastikan folder tersebut ada. Jika folder tidak ada, buatlah.
      os.makedirs(os.path.dirname(file_path),exist_ok=True)
      
      # Tulis kontennya.
      content = "Hello World!"
      try:
          with open(file_path, "w", encoding="utf-8") as file:
              file.write(content)
          print(f"File berhasil ditulis ke: {file_path}")
      except Exception as e:
          print(f"Gagal menulis: {str(e)}")

   2. Baca data dari jalur tertentu dalam set data.

      file_path = "/mnt/data/dataset02/file02.txt"
      with open(file_path, "r") as file:
          content = file.read()
      content

3. Jalankan kedua blok kode Python tersebut secara terpisah.

   Catatan

   Selama waktu proses, Anda harus mengonfirmasi kernel Python. Contoh ini menggunakan Python 3.11.9.

   

3. Konfigurasikan penjadwalan

Di sisi kanan node Notebook, klik Scheduling Settings dan tambahkan opsi terkait set data. Konfigurasi parameter harus sama dengan parameter set data yang Anda tetapkan saat membuat instans lingkungan pengembang pribadi.

Gunakan ossfs 2.0 untuk memasang dan mengakses OSS

ossfs 2.0 adalah klien yang dirancang untuk akses berkinerja tinggi ke OSS melalui pemasangan. Alat ini menyediakan kemampuan baca dan tulis berurutan yang sangat baik serta dapat memanfaatkan bandwidth tinggi OSS secara optimal. Alat ini cocok untuk skenario yang memerlukan kinerja baca dan tulis berurutan tinggi, seperti pelatihan AI dan aplikasi komputasi-intensif seperti pemrosesan data. Skenario beban kerja ini terutama melibatkan pembacaan berurutan dan acak, penulisan berurutan (append-only), dan tidak memerlukan semantik POSIX lengkap.

Di Dataset > Advanced Configuration, Anda dapat mengatur parameter lanjutan. Pisahkan beberapa opsi dengan koma (,). Untuk informasi selengkapnya tentang parameter lanjutan dan opsi lainnya, lihat opsi pemasangan ossfs 2.0. Berikut adalah contoh skenario umum:

• Sumber data tidak berubah selama tugas: Jika tidak ada file yang akan dibaca yang dimodifikasi selama proses pembacaan, Anda dapat mengonfigurasi waktu cache yang panjang untuk mengurangi jumlah permintaan metadata. Skenario khas adalah membaca sejumlah file yang sudah ada dan menghasilkan sejumlah file baru setelah pemrosesan.

  {"mountOssType":"ossfs", "attr_timeout": "7200"}

• Baca dan tulis cepat: Gunakan waktu cache metadata yang singkat untuk menyeimbangkan efisiensi cache dan ketepatan waktu data file.

  {"mountOssType":"ossfs", "attr_timeout": "3", "negative_timeout":"0"}

• Konsistensi baca dan tulis untuk tugas terdistribusi: Secara default, ossfs memperbarui data file berdasarkan cache metadata. Gunakan konfigurasi berikut untuk mencapai tampilan yang disinkronkan di beberapa node.

  { "mountOssType":"ossfs","negative_timeout": "0", "close_to_open":"false"}

• Terlalu banyak file dibuka secara bersamaan, menyebabkan kesalahan OOM: Jika konkurensi tugas tinggi dan banyak file dibuka secara bersamaan, masalah kehabisan memori (OOM) dapat terjadi. Anda dapat menggunakan konfigurasi berikut untuk mengurangi tekanan memori.

  {"mountOssType":"ossfs","readdirplus": "false", "inode_cache_eviction_threshold":"300000"}

Gunakan ossfs 1.0 untuk memasang dan mengakses OSS

ossfs 1.0 memungkinkan Anda memasang bucket OSS sebagai sistem file lokal pada sistem Linux. Dibandingkan dengan ossfs 2.0, ossfs 1.0 menyediakan dukungan operasi file yang lebih komprehensif. Jika Anda mengalami masalah ketidakcocokan operasi file setelah memasang direktori dengan ossfs 2.0, Anda dapat mencoba menggunakan ossfs 1.0.

Untuk informasi selengkapnya tentang parameter yang diperlukan untuk pemasangan dengan ossfs 1.0, lihat opsi pemasangan ossfs 1.0.

Gunakan JindoFuse untuk memasang dan mengakses OSS

Anda dapat menggunakan komponen JindoFuse untuk memasang set data OSS ke jalur tertentu dalam kontainer. Alat ini cocok untuk skenario berikut:

• Anda ingin membaca data OSS seolah-olah itu adalah set data lokal, atau set data tersebut kecil dan dapat memanfaatkan cache lokal JindoFuse secara efektif untuk percepatan.

• Anda perlu menulis data ke OSS.

Di Dataset > Advanced Configuration, Anda dapat mengatur parameter lanjutan. Gunakan koma (,) untuk memisahkan beberapa konfigurasi. Berikut adalah contoh konfigurasi. Untuk deskripsi parameter dan konfigurasi parameter lainnya, lihat Panduan Pengguna JindoFuse dan Menggunakan JindoFuse untuk memasang dan mengakses data.

{ 
  "mountOssType":"jindofuse",
  "fs.oss.download.thread.concurrency": "2 × jumlah core CPU",
  "fs.oss.upload.thread.concurrency": "2 × jumlah core CPU",
  "attr_timeout": 3,
  "entry_timeout": 0,
  "negative_timeout": 0
}

Gunakan set data NAS

Jika set data yang Anda tambahkan adalah set data NAS, Anda dapat menentukan konfigurasi untuk mengakses sistem file NAS yang menggunakan protokol NFS (parameter nasOptions). Kode berikut menunjukkan konfigurasi default. Untuk menyesuaikan nilai parameter, lihat Memasang sistem file NFS secara manual.

{"nasOptions":"vers=3,nolock,proto=tcp,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,noresvport"}