Saat mengirimkan pekerjaan pelatihan Deep Learning Containers (DLC), Anda dapat mengonfigurasi penyimpanan Object Storage Service (OSS), NAS, CPFS, atau MaxCompute melalui konfigurasi kode atau pemasangan (mounting). Hal ini memungkinkan Anda membaca dan menulis data secara langsung ke layanan penyimpanan yang dipilih selama proses pelatihan. Topik ini menjelaskan cara mengonfigurasi penyimpanan OSS, MaxCompute, NAS, atau CPFS untuk pekerjaan pelatihan DLC Anda.
Prasyarat
Aktifkan PAI dan buat ruang kerja. Untuk informasi selengkapnya, lihat Aktifkan PAI dan buat ruang kerja default.
(Opsional) Untuk mengonfigurasi penyimpanan data OSS, lakukan langkah-langkah berikut:
Aktifkan OSS dan berikan izin akses yang diperlukan kepada PAI. Untuk informasi selengkapnya, lihat Aktifkan OSS dan Otorisasi akun layanan PAI.
Buat Bucket OSS. Untuk informasi selengkapnya, lihat Console Quick Start.
(Opsional) Untuk mengonfigurasi penyimpanan data NAS, buat sistem file NAS tujuan umum. Untuk informasi selengkapnya, lihat Buat sistem file.
(Opsional) Untuk mengonfigurasi penyimpanan MaxCompute, aktifkan MaxCompute dan buat proyek MaxCompute. Untuk informasi selengkapnya, lihat Aktifkan MaxCompute dan Buat proyek MaxCompute.
Gunakan Penyimpanan OSS
Konfigurasi Penyimpanan OSS dengan Memasang (Mounting)
Saat membuat pekerjaan pelatihan terdistribusi (DLC), Anda dapat memasang penyimpanan OSS. Jenis pemasangan berikut didukung. Untuk detail konfigurasi, lihat Buat pekerjaan pelatihan.
Mount type | Description |
Mount dataset | Pasang menggunakan dataset (kustom atau publik). Perhatikan hal berikut:
Pilih dataset bertipe OSS dan konfigurasikan Mount Path. Saat pekerjaan DLC dijalankan, sistem mengakses data OSS melalui path ini. |
Mount storage | Pasang path Bucket OSS dan atur izin baca dan tulis menggunakan tombol Read-only. |
DLC menggunakan JindoFuse atau ossfs untuk memasang OSS:
JindoFuse digunakan secara default. Namun, konfigurasi default untuk Data Lake Compute (DLC) memiliki keterbatasan fungsional dan mungkin tidak sesuai untuk semua skenario (untuk detailnya, lihat JindoFuse). Anda dapat menyesuaikan parameters agar sesuai dengan skenario spesifik Anda. Untuk informasi selengkapnya, lihat JindoFuse.
ossfs: Saat memasang path Bucket OSS, tetapkan
{"mountType":"ossfs"}di Advanced Configuration untuk menggunakan ossfs.
Konfigurasi Penyimpanan OSS Tanpa Memasang
Pekerjaan DLC mendukung pembacaan dan penulisan data ke OSS menggunakan OSS PyTorch connector atau OSS SDK. Saat membuat pekerjaan pelatihan, Anda dapat menyertakan file kode yang diperlukan melalui konfigurasi kode. Untuk contoh kode, lihat OSS Connector for AI/ML atau OSS SDK.
Gunakan Penyimpanan NAS/CPFS
Saat membuat pekerjaan pelatihan terdistribusi (DLC), Anda dapat menggunakan penyimpanan NAS/CPFS dengan menyambungkan dataset kustom bertipe NAS/CPFS atau menggunakan pemasangan penyimpanan. Untuk detail konfigurasi, lihat Use NAS/CPFS.
Mount type | Description |
Mount dataset | Pasang menggunakan dataset kustom. Atur izin baca dan tulis menggunakan tombol Read-only. |
Mount storage | Pasang sistem file NAS/CPFS dan atur izin baca dan tulis menggunakan tombol Read-only. Anda juga dapat meningkatkan performa throughput saat kontainer DLC mengakses NAS dengan mengatur parameter nconnect di Advanced Configuration. nconnect adalah opsi mount NFS client Linux yang meningkatkan throughput dengan membuat lebih banyak koneksi TCP antara client dan server. Untuk informasi selengkapnya, lihat How do I resolve poor NAS performance on Linux?. Contoh parameter: |
Gunakan Penyimpanan MaxCompute
Anda dapat mengonfigurasi penyimpanan MaxCompute tanpa memasangnya. Saat membuat pekerjaan pelatihan, sertakan file kode yang diperlukan melalui konfigurasi kode. Untuk contoh kode, lihat Use MaxCompute.
FAQ
Q: Mengapa paiio menampilkan "killed" di log tanpa error saat membaca tabel?
Jika sumber daya sistem tidak mencukupi, paiio yang tidak dibatasi menyebabkan pembengkakan memori saat data MaxCompute dimuat ke memori. Sistem operasi dan komponen sistem lainnya juga mengonsumsi memori, yang turut berkontribusi pada kekurangan sumber daya tersebut.