Saat mengirimkan pekerjaan pelatihan Deep Learning Containers (DLC), Anda dapat mengonfigurasi penyimpanan Object Storage Service (OSS), File Storage NAS (NAS), Cloud Parallel File Storage (CPFS), atau MaxCompute melalui konfigurasi kode atau mount. Hal ini memungkinkan Anda membaca dan menulis data secara langsung ke penyimpanan yang ditentukan selama proses pelatihan.
Prasyarat
-
Anda telah mengaktifkan PAI (DLC) dan membuat ruang kerja. Untuk informasi selengkapnya, lihat Aktifkan PAI dan buat ruang kerja default.
-
(Opsional) Untuk menggunakan penyimpanan Object Storage Service (OSS), lakukan langkah-langkah berikut:
-
Anda telah mengaktifkan OSS dan memberikan izin yang diperlukan kepada PAI. Untuk informasi selengkapnya, lihat Aktifkan OSS dan Otorisasi akun layanan PAI.
-
Anda telah membuat bucket OSS. Untuk informasi selengkapnya, lihat Panduan cepat Konsol.
-
-
(Opsional) Untuk menggunakan File Storage NAS (NAS), Anda harus membuat sistem file NAS general-purpose. Untuk informasi selengkapnya, lihat Buat sistem file.
-
(Opsional) Untuk menggunakan penyimpanan MaxCompute, Anda harus mengaktifkan MaxCompute dan membuat proyek MaxCompute. Untuk informasi selengkapnya, lihat Aktifkan MaxCompute dan Buat proyek MaxCompute.
Gunakan penyimpanan OSS
Konfigurasikan penyimpanan OSS dengan mount
Saat membuat pekerjaan pelatihan Deep Learning Containers (DLC), Anda dapat memasang Object Storage Service (OSS). Jenis mount berikut didukung. Untuk detail konfigurasi, lihat Buat pekerjaan pelatihan.
|
Mount type |
Description |
|
Mount dataset |
Pasang dataset, yang dapat berupa dataset kustom atau dataset publik.
Pilih dataset bertipe OSS dan konfigurasikan Mount Path. Saat pekerjaan DLC berjalan, sistem mengakses data OSS melalui path ini. |
|
Mount storage |
Pasang path bucket OSS dan gunakan sakelar Read-only untuk mengatur izin baca dan tulis. |
DLC mendukung JindoFuse dan ossfs untuk memasang OSS:
-
JindoFuse: Ini adalah metode mount default. Konfigurasi default-nya memiliki batasan fungsional dan mungkin tidak cocok untuk semua skenario. Untuk detailnya, lihat JindoFuse. Anda dapat menyesuaikan parameters sesuai skenario tertentu. Untuk informasi lebih lanjut, lihat JindoFuse.
-
ossfs: Saat memasang path bucket OSS dengan metode storage mount, Anda dapat menentukan
{"mountType":"ossfs"}di Advanced Settings untuk menggunakan ossfs.
Konfigurasikan penyimpanan OSS tanpa mount
Pekerjaan DLC dapat membaca dari dan menulis ke Object Storage Service (OSS) menggunakan OSS PyTorch Connector atau SDK OSS. Saat Anda membuat pekerjaan pelatihan, konfigurasikan file kode terkait. Untuk contoh kode, lihat OSS Connector for AI/ML atau OSS SDK.
Pada bagian Code Configuration, di tab Online Configuration, pilih sumber kode dari daftar drop-down dan masukkan Mount Path untuk kode Anda.
Gunakan penyimpanan NAS/CPFS
Saat membuat pekerjaan Deep Learning Containers (DLC), Anda dapat menggunakan penyimpanan File Storage NAS (NAS) atau Cloud Parallel File Storage (CPFS) dengan mengikat dataset kustom bertipe NAS/CPFS atau menggunakan storage mount. Untuk detail konfigurasi, lihat Gunakan NAS/CPFS.
Pada bagian Dataset Mount, atur Mount Path, misalnya /mnt/data/. Pada bagian Storage Mount, konfigurasikan Select File System, File System Mount Point, File System Path, dan Mount Path secara berurutan, misalnya /mnt/data2/. Jika tipe penyimpanan yang dipilih memiliki risiko zona ketersediaan tunggal, peringatan oranye akan muncul.
|
Mount type |
Description |
|
Mount dataset |
Pasang dataset kustom. Anda dapat menggunakan sakelar Read-only untuk mengatur izin baca dan tulis. |
|
Mount storage |
Pasang sistem file File Storage NAS (NAS) atau Cloud Parallel File Storage (CPFS) dan gunakan sakelar Read-only untuk mengatur izin baca dan tulis. Selain itu, di Advanced Settings, Anda dapat mengatur parameter nconnect untuk meningkatkan throughput saat kontainer DLC mengakses NAS. nconnect adalah opsi mount Linux untuk klien NFS yang meningkatkan throughput dengan membuat lebih banyak koneksi transport TCP antara klien dan server. Untuk informasi selengkapnya, lihat Bagaimana cara mengatasi performa buruk saat mengakses NAS dari sistem operasi Linux?. Contoh: |
Gunakan penyimpanan MaxCompute
Anda dapat menggunakan penyimpanan MaxCompute tanpa mount. Saat Anda membuat pekerjaan pelatihan, konfigurasikan file kode terkait. Untuk contoh kode, lihat Gunakan MaxCompute.
FAQ
Q: Pekerjaan PAIIO 'killed' tanpa error
Masalah ini disebabkan oleh sumber daya yang tidak mencukupi. PAIIO tidak membatasi penggunaan memori, sehingga dapat mengonsumsi memori dalam jumlah besar saat membaca data MaxCompute. Proses kemungkinan besar dihentikan oleh sistem operasi ketika kontainer kehabisan memori, karena OS dan komponen sistem lainnya juga mengonsumsi sumber daya.