Platform For AI：Memasang dataset, OSS, NAS, atau CPFS

Memasang dataset

1. Buat dataset

   Masuk ke Konsol PAI. Buka halaman AI Asset Management > Datasets dan buat dataset kustom atau publik. Untuk informasi lebih lanjut, lihat Membuat dan mengelola dataset.

2. Pasang dataset

   Pada halaman konfigurasi yang muncul saat Anda membuat instans DSW baru, temukan bagian Mount Dataset. Untuk instans yang sudah ada, klik Change Configuration untuk membuka halaman. Klik Custom Dataset, pilih dataset yang telah Anda buat, lalu masukkan Mount Path.

Memasang jalur penyimpanan secara langsung

Bagian ini menggunakan contoh pemasangan jalur Object Storage Service (OSS).

1. Buat bucket OSS

   Aktifkan OSS dan buat bucket.

   Penting

   Wilayah bucket harus sama dengan wilayah PAI. Anda tidak dapat mengubah wilayah bucket setelah dibuat.

2. Pasang jalur OSS

   Pada halaman konfigurasi instans DSW (terbuka saat membuat instans atau dengan mengklik Change Configuration untuk instans yang sudah ada), temukan Mount Storage Path. Klik OSS, pilih jalur Bucket OSS yang telah Anda buat, dan masukkan Mount Path. Bidang Advanced Configuration kosong secara default. Konfigurasikan sesuai kebutuhan. Untuk informasi lebih lanjut, lihat Konfigurasi pemasangan lanjutan.

Persiapan

1. Instal SDK Python PAI. Buka Terminal instans DSW dan jalankan perintah berikut untuk menginstal SDK Python PAI. Diperlukan Python 3.8 atau lebih baru.

   python -m pip install pai>=0.4.11

2. Konfigurasikan kunci akses SDK untuk PAI.

   • Metode 1: Konfigurasikan instans DSW dengan peran PAI default atau peran RAM kustom. Buka halaman konfigurasi instans, dan di bagian bawah, klik Show More Configurations untuk memilih peran RAM instans. Untuk informasi lebih lanjut, lihat Konfigurasikan peran RAM instans untuk instans DSW.

   • Metode 2: Konfigurasikan secara manual menggunakan alat baris perintah yang disediakan oleh SDK Python PAI. Jalankan perintah berikut di Terminal untuk mengonfigurasi parameter akses. Untuk contoh, lihat Inisialisasi.

     python -m pai.toolkit.config

Contoh

Pemasangan dinamis memungkinkan Anda memasang penyimpanan tanpa mengonfigurasi ulang dan me-restart instans DSW Anda.

• Pasang ke jalur default

  Data dipasang ke jalur pemasangan default di dalam instans. Jalur default untuk gambar instans pra-konstruksi resmi adalah /mnt/dynamic/.

  from pai.dsw import mount
  
  # Pasang jalur OSS
  mount_point = mount("oss://<YourBucketName>/Path/Data/Directory/") 
  
  # Pasang dataset. Parameter input adalah ID dataset.
  # mount_point = mount("d-m7rsmu350********") 

• Pasang ke jalur yang ditentukan

  Pemasangan dinamis memerlukan pemasangan data ke jalur tertentu (atau subdirektori) di dalam kontainer. Dapatkan jalur pemasangan dinamis menggunakan API SDK.

  from pai.dsw import mount, default_dynamic_mount_path
  
  # Dapatkan jalur pemasangan default instans
  default_path = default_dynamic_mount_path()
  
  mount_point = mount("oss://<YourBucketName>/Path/Data/Directory"
                , mount_point=default_path + "tmp/output/model")

• Pasang NAS secara dinamis

  from pai.dsw import mount, default_dynamic_mount_path
  
  # Dapatkan jalur pemasangan default instans
  default_path = default_dynamic_mount_path()
  
  # Pasang NAS. Titik akhir NAS dan instans harus berada di VPC yang sama. Ganti <region> dengan ID wilayah, seperti cn-hangzhou.
  mount("nas://06ba748***-xxx.<region>.nas.aliyuncs.com/", default_path+"mynas3/")

• Lihat semua konfigurasi pemasangan di instans

  from pai.dsw import list_dataset_configs
  
  print(list_dataset_configs())

• Lepas data yang telah dipasang

  from pai.dsw import mount, unmount
  
  mount_point = mount("oss://<YourBucketName>/Path/Data/Directory/")
  
  # Parameter input adalah jalur pemasangan, yaitu MountPath yang diperoleh dari list_dataset_configs.
  # Setelah Anda menjalankan perintah lepas, diperlukan beberapa detik agar perubahan berlaku.
  unmount(mount_point)

T: Mengapa file OSS yang saya pasang tidak muncul di browser file JupyterLab?

Hal ini terjadi karena browser file JupyterLab menampilkan direktori kerja default (/home/admin/workspace), tetapi jalur OSS Anda kemungkinan besar dipasang ke lokasi lain (misalnya, /mnt/data).

Berikut adalah tiga cara untuk mengakses file Anda:

• Gunakan jalur absolut dalam kode: File Anda telah berhasil dipasang. Dalam kode Anda, Anda harus menggunakan jalur pemasangan lengkap untuk mengaksesnya, misalnya, open('/mnt/data/my_file.csv').

• Pasang ke subdirektori workspace: Untuk melihat file dengan mudah di UI, atur jalur pemasangan ke subdirektori direktori kerja saat Anda mengonfigurasi pemasangan, seperti /mnt/workspace/my_oss_data. Setelah pemasangan selesai, Anda dapat melihat file OSS Anda di folder my_oss_data di browser file.

• Akses melalui Terminal: Di Terminal DSW, Anda dapat menggunakan perintah cd /mnt/data untuk masuk ke direktori pemasangan. Kemudian, Anda dapat menggunakan perintah seperti ls untuk melihat dan mengelola file.

T: Mengapa saya mendapatkan kesalahan "Transport endpoint is not connected" atau "Input/output error" saat mengakses jalur OSS yang dipasang di DSW?

Kesalahan ini menunjukkan bahwa koneksi antara instans DSW Anda dan pemasangan OSS telah terputus. Ini sering disebabkan oleh salah satu dari alasan berikut:

1. Izin Peran RAM Tidak Cukup: Peran RAM yang dikonfigurasikan untuk instans DSW Anda mungkin kekurangan izin yang diperlukan untuk mengakses OSS. Pastikan peran (misalnya, AliyunPAIDLCAccessingOSSRole) ditetapkan dengan benar dan memiliki izin baca/tulis untuk bucket target.

2. Layanan Pemasangan Crash (OOM): Selama operasi I/O intensif (misalnya, membaca banyak file kecil), layanan pemasangan dasar (ossfs atau JindoFuse) dapat kehabisan memori dan crash. Anda dapat mengmemperbaikinya dengan menyesuaikan batas memori atau menonaktifkan cache metadata di Konfigurasi Lanjutan dari pengaturan pemasangan Anda. Untuk informasi lebih lanjut, lihat JindoFuse.

3. Cara Memulihkan Koneksi:

   • Untuk pemasangan saat startup: Solusi termudah adalah me-restart instans DSW. Sistem akan secara otomatis membangun kembali koneksi pemasangan.

   • Untuk pemasangan dinamis: Anda dapat menjalankan perintah pemasangan ulang menggunakan SDK PAI di notebook atau terminal Anda tanpa me-restart instans.

T: Penyimpanan apa yang dapat saya pasang di DSW, dan apakah mungkin untuk memasang Alibaba Cloud Drive atau tabel MaxCompute?

Anda dapat memasang penyimpanan dari OSS, NAS, dan CPFS dengan membuat Dataset atau memasang jalur penyimpanan langsung. Namun, beberapa layanan tidak dapat dipasang seperti sistem file:

• Alibaba Cloud Drive: Pemasangan langsung tidak didukung. Pendekatan yang direkomendasikan adalah terlebih dahulu mengunggah data yang Anda butuhkan ke bucket OSS dan kemudian memasang bucket tersebut di instans DSW Anda.

• Tabel MaxCompute: Anda tidak dapat memasang tabel MaxCompute sebagai direktori. Untuk mengakses data dalam MaxCompute, Anda harus menggunakan SDK yang sesuai, seperti PyODPS, dalam kode DSW Anda. Untuk informasi lebih lanjut, lihat Gunakan PyODPS untuk membaca dan menulis tabel MaxCompute.

T: Apakah kode dan data saya akan hilang jika instans DSW saya dihentikan atau dihapus? Bagaimana cara menyimpan data dan kode setelah instans DSW dihentikan atau dihapus?

Ya, data apa pun yang disimpan pada disk sistem lokal instans DSW bersifat sementara dan akan dihapus.

• Untuk instans dalam kelompok sumber daya publik, data akan dihapus jika instans dihentikan selama lebih dari 15 hari.

• Untuk instans dalam kelompok sumber daya khusus, data akan dihapus segera setelah instans dihentikan atau dihapus.

Untuk memastikan pekerjaan Anda tidak hilang, Anda harus menggunakan layanan penyimpanan eksternal yang dipasang.

• Solusi Persistensi: Simpan semua file penting Anda — termasuk kode, dataset, dan model — ke jalur OSS atau NAS yang telah dipasang. Data yang disimpan di OSS atau NAS pribadi Anda bersifat permanen dan independen dari siklus hidup instans DSW.

• Solusi Migrasi: Untuk memindahkan pekerjaan Anda ke instans DSW baru, cukup pasang jalur OSS atau NAS yang sama yang berisi data yang telah Anda simpan. Ini adalah cara paling efisien untuk memigrasi lingkungan Anda.