All Products
Search

This Product

    Platform For AI:Memasang dataset, OSS, NAS, atau CPFS

    Document Center

    Platform For AI:Memasang dataset, OSS, NAS, atau CPFS

    Last Updated:Jul 03, 2026

    Instans DSW dalam kelompok sumber daya publik dan khusus memiliki penyimpanan default yang terbatas, dan datanya tidak permanen. Untuk memperluas kapasitas penyimpanan, mengaktifkan penyimpanan persisten, atau berbagi data, Anda dapat memasang dataset atau jalur penyimpanan ke instans tersebut.

    Penting

    • Data pada disk cloud akan dihapus jika Anda menghapus instans atau jika instans tersebut tetap dalam status stopped selama lebih dari 15 hari.

    • Data pada sistem disk akan dihapus setelah instans dihentikan atau dihapus.

    Perbandingan pemasangan dataset dan pemasangan jalur penyimpanan langsung

    Jika Anda memerlukan penyimpanan jangka panjang atau kolaborasi tim, pasang dataset. Jika hanya memerlukan penyimpanan untuk tugas sementara atau ekspansi cepat, pasang jalur penyimpanan secara langsung.

    Fitur

    Pasang dataset

    Pasang jalur penyimpanan langsung

    Layanan cloud yang didukung

    OSS, NAS, dan CPFS

    Manajemen versi

    Mendukung manajemen versi dan akselerasi data.

    Tidak mendukung manajemen versi.

    Berbagi data

    Mendukung berbagi lintas beberapa instans.

    Hanya terbatas pada instans saat ini.

    Kompleksitas operasional

    Memerlukan pembuatan dan konfigurasi dataset.

    Hanya memerlukan pemasangan jalur penyimpanan secara langsung.

    Kasus penggunaan

    Penyimpanan jangka panjang, kolaborasi tim, dan persyaratan keamanan tinggi.

    Tugas sementara dan kebutuhan ekspansi penyimpanan cepat.

    Pemasangan saat startup vs. pemasangan dinamis

    Tersedia dua metode pemasangan: pemasangan saat startup dan pemasangan dinamis.

    • Pemasangan saat startup: Dikonfigurasi saat membuat atau mengubah pengaturan instans. Perubahan ini memerlukan restart instans agar berlaku.

    • Pemasangan dinamis: Menggunakan PAI SDK dalam instans yang sedang berjalan dan tidak memerlukan restart.

    Batasan

    • Jalur unik: Jalur mount untuk setiap dataset harus unik.

    • Batas tulis: Hindari operasi tulis yang sering di direktori mount OSS karena dapat menyebabkan penurunan performa atau kegagalan operasi.

    • Batas Git: Operasi Git tidak didukung di direktori mount OSS. Jalankan perintah Git di direktori lokal atau jalur non-mounted lainnya.

    Batasan pemasangan dinamis

    • Batas read-only: Pemasangan dinamis hanya mendukung akses read-only dan tidak mendukung operasi tulis. Metode ini cocok untuk skenario yang memerlukan pemasangan cepat atau akses read-only sementara.

    • Batas jenis penyimpanan: Pemasangan dinamis hanya mendukung OSS dan NAS.

    • Batas sumber daya: Pemasangan dinamis saat ini tidak mendukung sumber daya komputasi cerdas Lingjun.

    Pemasangan saat startup

    Untuk memasang saat startup, gunakan opsi Dataset Mounting atau Mount storage pada halaman konfigurasi instans. Anda harus me-restart instans agar perubahan berlaku.

    Pasang dataset

    1. Buat dataset

      Login ke Konsol PAI. Di panel navigasi sebelah kiri, pilih AI Asset Management > Dataset. Pada halaman yang muncul, buat dataset kustom atau dataset publik. Untuk informasi lebih lanjut, lihat Buat dan kelola dataset.

    2. Pasang dataset

      Pada halaman konfigurasi instans DSW, temukan parameter Dataset Mounting. Anda dapat mengakses halaman ini saat membuat instans atau dengan mengklik Change Settings pada instans yang sudah ada. Klik Custom, lalu pilih dataset yang telah dibuat dan masukkan Mount Path.

    Catatan

    Catatan tentang pemasangan dataset kustom:

    • Dataset CPFS: Saat mengonfigurasi dataset CPFS, VPC instans DSW harus sama dengan sistem file CPFS. Jika tidak, pembuatan instans akan gagal.

    • Dataset NAS: Saat mengonfigurasi dataset NAS, konfigurasikan jaringan dan pilih security group.

    • Menggunakan kelompok sumber daya khusus: Saat menggunakan kelompok sumber daya khusus, dataset pertama harus berupa dataset NAS. Dataset ini dipasang ke jalur yang Anda tentukan dan juga ke direktori kerja default DSW di /home/admin/workspace.

    Pasang jalur penyimpanan langsung

    Bagian ini menggunakan pemasangan jalur penyimpanan OSS sebagai contoh.

    1. Buat bucket OSS

      Aktifkan OSS dan buat bucket.

      Penting

      Wilayah bucket harus sama dengan wilayah PAI. Wilayah bucket tidak dapat diubah setelah bucket dibuat.

    2. Pasang jalur OSS

      Pada halaman konfigurasi instans DSW (dibuka saat membuat instans atau dengan mengklik Change Settings untuk instans yang sudah ada), temukan parameter Mount storage. Klik OSS, pilih jalur bucket OSS yang telah dibuat, dan masukkan Mount Path. Bidang Advanced Configurations kosong secara default. Anda dapat mengonfigurasinya sesuai kebutuhan. Untuk informasi lebih lanjut, lihat Konfigurasi pemasangan lanjutan.

    Pemasangan dinamis

    Pemasangan dinamis memungkinkan Anda memasang dataset atau jalur penyimpanan dengan menggunakan PAI SDK di dalam instans DSW yang sedang berjalan. Tidak diperlukan restart.

    Prasyarat

    1. Instal PAI Python SDK. Di Terminal instans DSW, jalankan perintah berikut. Diperlukan Python 3.8 atau yang lebih baru.

      python -m pip install pai>=0.4.11

    2. Konfigurasikan kredensial akses agar SDK dapat mengakses PAI.

      • Metode 1: Konfigurasikan instans DSW untuk menggunakan peran PAI default atau peran RAM kustom. Buka halaman konfigurasi instans, klik Show More di bagian bawah, lalu pilih instance RAM role. Untuk informasi lebih lanjut, lihat Konfigurasikan peran RAM untuk instans DSW.

      • Metode 2: Konfigurasikan secara manual menggunakan tool command line yang disediakan oleh PAI Python SDK. Di Terminal, jalankan perintah berikut untuk mengonfigurasi parameter akses. Untuk contoh, lihat Inisialisasi.

        python -m pai.toolkit.config

    Contoh

    • Pasang ke jalur default

      Data dipasang ke jalur mount default di dalam instans. Untuk image instans resmi yang telah dibuat sebelumnya, jalur default-nya adalah /mnt/dynamic/.

      from pai.dsw import mount
# Pasang jalur OSS.
mount_point = mount("oss://<YourBucketName>/Path/Data/Directory/") 
# Pasang dataset. Parameter input adalah ID dataset.
# mount_point = mount("d-m7rsmu350********")

    • Pasang ke jalur tertentu

      Pemasangan dinamis memerlukan pemasangan data ke jalur tertentu (atau subdirektori) di dalam kontainer. Anda dapat memperoleh jalur mount dinamis dengan menggunakan API yang disediakan oleh SDK.

      from pai.dsw import mount, default_dynamic_mount_path
# Dapatkan jalur mount default instans.
default_path = default_dynamic_mount_path()
mount_point = mount("oss://<YourBucketName>/Path/Data/Directory"
              , mount_point=default_path + "tmp/output/model")

    • Pasang NAS secara dinamis

      from pai.dsw import mount, default_dynamic_mount_path
# Dapatkan jalur mount default instans.
default_path = default_dynamic_mount_path()
# Pasang NAS. Titik akhir NAS dan instans harus berada dalam VPC yang sama. Ganti <region> dengan ID wilayah, seperti cn-hangzhou.
mount("nas://06ba748***-xxx.<region>.nas.aliyuncs.com/", default_path+"mynas3/")

    • Lihat semua konfigurasi mount di instans

      from pai.dsw import list_dataset_configs
print(list_dataset_configs())

    • Lepaskan pemasangan data

      from pai.dsw import mount, unmount
mount_point = mount("oss://<YourBucketName>/Path/Data/Directory/")
# Parameter input adalah jalur mount, yaitu nilai MountPath yang dikembalikan oleh list_dataset_configs.
# Setelah menjalankan perintah unmount, perubahan akan berlaku dalam beberapa detik.
unmount(mount_point)

    Konfigurasi pemasangan lanjutan

    Saat mengonfigurasi pemasangan, Anda juga dapat mengatur parameter lanjutan untuk menyesuaikan dengan skenario berbeda, seperti baca/tulis cepat, tulis inkremental, dan akses read-only, guna mengoptimalkan performa.

    Konfigurasi pemasangan lanjutan

    Pemasangan OSS

    Untuk pemasangan OSS, Anda dapat menggunakan konfigurasi lanjutan untuk menentukan pengaturan terkait Jindo atau menggunakan ossfs untuk pemasangan.

    • Dalam konfigurasi lanjutan, atur {"mountType":"ossfs"} untuk menggunakan ossfs dalam memasang penyimpanan OSS. Jika parameter ini tidak diatur, Jindo digunakan secara default.

    • Dalam konfigurasi lanjutan, atur parameter Jindo untuk menggunakan pemasangan Jindo secara lebih fleksibel. Skenario umum sebagai berikut:

      • Baca dan tulis cepat: Memungkinkan baca dan tulis dengan kecepatan baca tinggi, tetapi operasi konkuren dapat menyebabkan inkonsistensi data. Cocok untuk memasang data pelatihan dan model, tetapi tidak untuk direktori kerja.

        {
  "fs.oss.download.thread.concurrency": "2 × jumlah core CPU",
  "fs.oss.upload.thread.concurrency": "2 × jumlah core CPU",
  "fs.jindo.args": "-oattr_timeout=3 -oentry_timeout=0 -onegative_timeout=0 -oauto_cache -ono_symlink"
}

      • Tulis inkremental: Menjamin konsistensi data selama penulisan inkremental, tetapi menimpa data yang sudah ada dapat menyebabkan masalah konsistensi. Kecepatan baca sedikit lebih lambat. Cocok untuk menyimpan file bobot model yang telah dilatih.

        {
  "fs.oss.upload.thread.concurrency": "2 × jumlah core CPU",
  "fs.jindo.args": "-oattr_timeout=3 -oentry_timeout=0 -onegative_timeout=0 -oauto_cache -ono_symlink"
}

      • Baca dan tulis konsisten: Mempertahankan konsistensi data selama operasi baca dan tulis konkuren. Cocok untuk skenario dengan persyaratan konsistensi data tinggi yang dapat mentolerir kecepatan baca lebih lambat. Ideal untuk menyimpan proyek kode.

        {
  "fs.jindo.args": "-oattr_timeout=0 -oentry_timeout=0 -onegative_timeout=0 -oauto_cache -ono_symlink"
}

      • Read-only: Hanya mengizinkan operasi baca dan mencegah penulisan. Cocok untuk memasang dataset publik.

        {
  "fs.oss.download.thread.concurrency": "2 × jumlah core CPU",
  "fs.jindo.args": "-oro -oattr_timeout=7200 -oentry_timeout=7200 -onegative_timeout=7200 -okernel_cache -ono_symlink"
}

    NAS tujuan umum dan CPFS

    Untuk pemasangan NAS tujuan umum dan CPFS, Anda dapat menggunakan konfigurasi lanjutan untuk meningkatkan throughput penyimpanan bagi kontainer.

    Dalam konfigurasi lanjutan, atur parameter nconnect. Misalnya, {"nconnect":"<example_value>"}. Ganti <example_value> dengan bilangan bulat positif.

    Lihat konfigurasi pemasangan

    Buka instans DSW dan, di Terminal, jalankan perintah berikut untuk memverifikasi apakah dataset NAS dan OSS berhasil dipasang.

    # Lihat semua mount
mount
# Kueri jalur mount NAS
mount | grep nas
# Kueri jalur mount OSS
mount | grep oss

    Output yang mirip dengan berikut menunjukkan bahwa dataset berhasil dipasang.

    (base) /mnt/workspace> mount | grep nas
xxx /dsw01/ on /mnt/workspace type nfs (rw,relatime,vers=3,rsize=1048576,wsize=1048576,namlen=255,hard,nolock,noresvport,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=xxx,mountvers=3,mountport=2049,mountproto=tcp,local_lock=all,addr=xxx)
xxx /dsw01/ on /mnt/data_nas type nfs (rw,relatime,vers=3,rsize=1048576,wsize=1048576,namlen=255,hard,nolock,noresvport,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=xxx,mountvers=3,mountport=2049,mountproto=tcp,local_lock=all,addr=xxx)
xxx:/dsw01/ on /home/admin/workspace type nfs (rw,relatime,vers=3,rsize=1048576,wsize=1048576,namlen=255,hard,nolock,noresvport,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=xxx,mountvers=3,mountport=2049,mountproto=tcp,local_lock=all,addr=xxx)
(base) /mnt/workspace>
(base) /mnt/workspace> mount | grep oss
jindo-fuse on /mnt/data_oss type fuse.jindo-fuse (rw,nosuid,nodev,relatime,user_id=0,group_id=0,allow_other)
(base) /mnt/workspace>

    • Dataset NAS dipasang ke direktori /mnt/data_nas, /mnt/workspace, dan /home/admin/workspace. Di antaranya, /mnt/data_nas adalah jalur mount yang ditentukan saat Anda membuat instans DSW, sedangkan dua jalur lainnya adalah direktori kerja default DSW tempat dataset NAS pertama dipasang. Selama volume dan layanan NAS Anda berjalan normal, data dan kode Anda disimpan secara persisten.

    • Dataset OSS dipasang ke direktori /mnt/data_oss di instans DSW.

    FAQ

    Q: File OSS yang dipasang tidak terlihat di JupyterLab

    Hal ini karena browser file DSW menampilkan direktori kerja instans secara default, yang biasanya /mnt/workspace. Jalur mount yang Anda tentukan untuk OSS (misalnya, /mnt/data) tidak berada di bawah direktori kerja default, sehingga tidak muncul di browser file.

    Solusi:

    • Akses melalui kode: File Anda sebenarnya telah berhasil dipasang. Dalam kode Anda, Anda perlu menggunakan jalur mount lengkap untuk mengaksesnya, seperti open('/mnt/data/my_file.csv').

    • Ubah titik mount: Untuk melihat file dengan mudah di UI, Anda dapat mengatur jalur mount ke subdirektori di bawah direktori kerja saat mengonfigurasi pemasangan, seperti /mnt/workspace/my_oss_data. Setelah pemasangan selesai, Anda dapat melihat file OSS Anda di folder my_oss_data di browser file.

    • Akses melalui Terminal: Di Terminal DSW, Anda dapat menggunakan perintah cd /mnt/data untuk masuk ke direktori mount, lalu gunakan perintah seperti ls untuk melihat dan mengelola file.

    Q: Bagaimana cara mengatasi error koneksi pemasangan OSS?

    Error ini menunjukkan koneksi pemasangan antara instans DSW dan OSS terputus. Kemungkinan penyebab dan solusinya sebagai berikut:

    1. Masalah izin peran RAM: Periksa apakah peran RAM yang dikonfigurasi untuk instans DSW Anda telah diberi izin untuk mengakses OSS (misalnya, AliyunPAIDLCAccessingOSSRole). Izin yang tidak mencukupi merupakan penyebab umum kegagalan membaca dari OSS.

    2. Sumber daya tidak mencukupi untuk layanan mount: Selama operasi baca/tulis acak intensif atau operasi file kecil berskala besar, proses ossfs atau JindoFuse yang bertanggung jawab atas pemasangan dapat crash akibat error kehabisan memori (OOM). Di Konfigurasi Lanjutan pengaturan mount, Anda dapat menonaktifkan cache metadata atau meningkatkan konfigurasi memori. Untuk informasi lebih lanjut, lihat JindoFuse.

    3. Pulihkan koneksi:

      • Untuk pemasangan saat startup, cara termudah untuk memulihkan koneksi adalah me-restart instans DSW. Sistem akan secara otomatis membangun ulang pemasangan.

      • Anda juga dapat menjalankan perintah pemasangan dinamis menggunakan PAI SDK untuk memasang ulang jalur tanpa me-restart instans.

    Q: Tipe data apa saja yang didukung untuk pemasangan?

    DSW mendukung penggunaan layanan penyimpanan cloud seperti OSS, NAS, dan CPFS dengan membuat dataset atau memasang jalur penyimpanan secara langsung. 

    • Alibaba Cloud Drive tidak didukung: DSW saat ini tidak mendukung pemasangan langsung Alibaba Cloud Drive pribadi. Disarankan untuk menyimpan data yang perlu diproses di OSS.

    • Pemasangan tabel MaxCompute tidak didukung: Data tabel dari MaxCompute (sebelumnya ODPS) tidak dapat "dipasang" ke direktori DSW seperti sistem file. Anda dapat membaca dan menulis data ini dalam kode DSW Anda dengan menggunakan SDK atau API yang disediakan oleh PAI. Untuk informasi lebih lanjut, lihat Gunakan PyODPS untuk membaca dan menulis tabel MaxCompute.

    Q: Bagaimana cara memastikan persistensi dan migrasi data?

    Sistem disk instans DSW menyediakan penyimpanan sementara. Untuk kelompok sumber daya publik, data dihapus jika instans dihentikan selama lebih dari 15 hari. Untuk kelompok sumber daya khusus, data pada sistem disk dihapus segera setelah instans dihentikan atau dihapus.

    Untuk menyimpan data dan kode secara persisten atau memindahkannya antar instans, Anda harus menggunakan penyimpanan eksternal. 

    • Solusi persistensi: Simpan semua data, kode, dan model penting Anda ke jalur OSS atau NAS yang dipasang. Dengan demikian, meskipun instans DSW dihapus, semua aset Anda tetap tersimpan aman di OSS atau NAS milik Anda.

    • Solusi migrasi: Saat Anda perlu memindahkan data dari satu instans DSW ke instans lain, cukup pasang jalur OSS atau NAS yang sama ke instans baru. Ini merupakan metode migrasi data paling praktis.

    Q: Mengekspor data dari instans DSW yang gagal

    Jika instans DSW tidak dapat dimulai karena sumber daya tidak mencukupi atau alasan lain, data pada sistem disk-nya tidak langsung hilang. Anda dapat mencoba metode berikut untuk mengekspor data:

    1. Ubah spesifikasi instans dan restart: Di halaman daftar instans, klik "Change Settings", pilih spesifikasi instans lain yang tersedia, lalu restart instans. Mengubah spesifikasi tidak menyebabkan kehilangan data pada sistem disk. Begitu instans berhasil dimulai, segera backup data Anda ke OSS atau NAS.

    2. Ganti wilayah atau zona ketersediaan: Jika wilayah saat ini kekurangan sumber daya dan data Anda sudah disimpan di penyimpanan eksternal, Anda dapat mencoba membuat instans baru dan memasang penyimpanan OSS/NAS yang sama untuk memulihkan data.

    3. Hubungi dukungan teknis: Jika metode di atas tidak menyelesaikan masalah, kirim tiket ke dukungan teknis untuk bantuan.

    Penting

    Jika Anda menerima notifikasi bahwa "Sistem disk akan dirilis dalam X hari," Anda harus memulai instans dengan mengubah spesifikasi atau cara lain untuk mencadangkan data Anda sebelum batas waktu habis.

    Dokumentasi terkait

    Untuk FAQ lainnya, lihat FAQ DSW