Anda dapat mengonfigurasi Pekerjaan DLC untuk menggunakan layanan penyimpanan seperti OSS, NAS, CPFS, atau MaxCompute. Untuk melakukannya, Anda dapat memasang penyimpanan tersebut atau mengaksesnya langsung dari kode Anda sehingga Pekerjaan DLC dapat membaca dan menulis data. Topik ini menjelaskan cara mengonfigurasi layanan penyimpanan tersebut.
Prasyarat
Aktifkan PAI (DLC) dan buat ruang kerja. Untuk informasi selengkapnya, lihat Aktifkan PAI dan buat ruang kerja default.
(Opsional) Untuk mengonfigurasi penyimpanan OSS, lakukan hal berikut:
Aktifkan OSS dan berikan izin yang diperlukan kepada PAI. Untuk informasi selengkapnya, lihat Aktifkan OSS dan Otorisasi akun layanan PAI.
Buat Bucket OSS. Untuk informasi selengkapnya, lihat Mulai cepat di Konsol.
(Opsional) Untuk menggunakan penyimpanan NAS, buat sistem file NAS general-purpose. Untuk informasi selengkapnya, lihat Buat sistem file.
(Opsional) Untuk mengonfigurasi penyimpanan MaxCompute, aktifkan MaxCompute dan buat proyek MaxCompute. Untuk informasi selengkapnya, lihat Aktifkan MaxCompute dan Buat proyek MaxCompute.
Gunakan penyimpanan OSS
Konfigurasi dengan pemasangan
Saat membuat Pekerjaan DLC, Anda dapat memasang penyimpanan OSS. Jenis pemasangan berikut didukung. Untuk langkah-langkah konfigurasi spesifik, lihat Buat pekerjaan pelatihan.
Jenis pemasangan | Deskripsi |
Mount dataset | Pasang dataset kustom atau publik.
Pilih dataset bertipe OSS dan konfigurasikan Mount Path. Saat pekerjaan DLC berjalan, sistem mengakses data di OSS menggunakan path ini. |
Mount storage | Pasang path Bucket OSS dan gunakan sakelar Read-only untuk mengatur izin baca dan tulis. |
DLC mendukung pemasangan OSS menggunakan JindoFuse atau ossfs:
JindoFuse: JindoFuse digunakan secara default, tetapi konfigurasi default untuk DLC memiliki keterbatasan fungsional (untuk informasi selengkapnya, lihat JindoFuse), sehingga tidak cocok untuk semua skenario. Anda dapat menyesuaikan parameter agar sesuai dengan skenario tertentu. Untuk petunjuk spesifik, lihat JindoFuse.
ossfs: Saat memasang path Bucket OSS menggunakan opsi Mount storage, Anda dapat menentukan
{"mountType":"ossfs"}di Advanced Settings untuk menggunakan ossfs.
Konfigurasi tanpa pemasangan
Pekerjaan DLC dapat menggunakan OSS PyTorch Connector atau SDK OSS untuk membaca dari dan menulis ke OSS. Saat Anda membuat pekerjaan pelatihan, Anda dapat mengonfigurasi file kode terkait. Untuk contoh kode, lihat OSS Connector for AI/ML atau OSS SDK.
Gunakan penyimpanan NAS/CPFS
Anda dapat menggunakan penyimpanan NAS/CPFS saat membuat Pekerjaan DLC dengan mengikat dataset kustom bertipe NAS/CPFS atau memasang penyimpanan. Untuk detail konfigurasi, lihat Gunakan NAS/CPFS.
Jenis pemasangan | Deskripsi |
Mount dataset | Pasang dataset kustom. Anda dapat menggunakan sakelar Read-only untuk mengatur izin baca dan tulis. |
Mount storage | Pasang sistem file NAS/CPFS dan gunakan sakelar Read-only untuk mengatur izin baca dan tulis. Anda juga dapat mengatur parameter nconnect di Advanced Settings untuk meningkatkan throughput akses NAS. Opsi pemasangan klien NFS Linux ini meningkatkan kinerja dengan membuat beberapa koneksi TCP antara client dan server. Untuk informasi selengkapnya, lihat Bagaimana cara mengatasi kinerja akses NAS yang buruk pada sistem operasi Linux? Berikut adalah contoh parameter: |
Gunakan penyimpanan MaxCompute
Untuk menggunakan penyimpanan MaxCompute, akses langsung dari kode Anda alih-alih memasangnya. Saat Anda membuat pekerjaan pelatihan, Anda dapat mengonfigurasi file kode terkait. Untuk contoh kode, lihat Gunakan MaxCompute.
FAQ
Q: Pesan 'Killed' saat membaca dengan paiio
A: Masalah ini terjadi karena memori tidak mencukupi. Karena paiio tidak memiliki batasan resource, membaca dari MaxCompute dapat menyebabkan konsumsi memori yang tinggi. Sistem operasi dan komponen lainnya juga mengonsumsi memori yang tersedia.