Deep Learning Containers (DLC), Data Science Workshop (DSW), dan Elastic Algorithm Service (EAS) dari Platform for AI (PAI) memungkinkan Anda untuk memasang Storage NAS (NAS) atau Cloud Parallel File Storage (CPFS) dataset ke jalur tertentu guna menyimpan file pelatihan, penyebaran, serta hasil. Topik ini menggunakan sistem file NAS tujuan umum sebagai contoh untuk menjelaskan cara memasang dataset NAS atau CPFS di submodul PAI.
Prasyarat
Sistem file NAS tujuan umum telah dibuat. Untuk informasi lebih lanjut, lihat Buat sistem file.
Langkah 1: Buat dataset NAS
Untuk memasang data NAS di EAS, tidak diperlukan operasi tambahan. Di DLC atau DSW, Anda dapat memasang dataset NAS atau langsung memasang data NAS. Jika ingin memasang dataset NAS, Anda harus membuat dataset NAS terlebih dahulu. Untuk informasi lebih lanjut, lihat Buat dan kelola dataset.
Wilayah tempat Anda membuat dataset NAS harus sama dengan wilayah tempat instance DLC, instance DSW, dan layanan EAS berada, serta tempat data dan kode disimpan.
Parameter | Deskripsi | |
Dataset Configurations | Storage Type | Pilih General-purpose NAS. |
Version Configurations | File System | ID sistem file NAS yang telah dibuat. Anda dapat masuk ke Konsol NAS untuk melihat ID sistem file NAS di wilayah tertentu. Anda juga dapat melihat ID sistem file NAS dari daftar drop-down. |
File System Path | Jalur spesifik tempat Anda ingin memasang dataset NAS. Atur nilainya menjadi | |
Default Mount Path | Jalur pemasangan dataset NAS dalam pekerjaan DLC atau instance DSW. Atur nilainya menjadi | |
Langkah 2: Gunakan dataset NAS
Setelah membuat dataset NAS, Anda dapat menggunakannya untuk membaca data dari sistem file NAS di DLC, DSW, atau EAS.
Lampirkan dataset NAS di DLC
Ketika membuat pekerjaan pelatihan, lampirkan penyimpanan NAS ke pekerjaan pelatihan di bagian Informasi Lingkungan halaman Create Job. Gambar berikut menunjukkan parameter utama. 
Parameter | Deskripsi |
Dataset | Klik Custom Dataset dan pilih dataset NAS tujuan umum. Setelah Anda memilih dataset, sistem secara otomatis mengaitkan jalur pemasangan yang dikonfigurasi dalam dataset. Ketika Anda menjalankan pekerjaan DLC, sistem mengakses data sistem file NAS dari jalur ini. Anda juga dapat mengaktifkan atau menonaktifkan Hanya Baca untuk mengonfigurasi izin baca dan tulis, mencapai manajemen yang lebih rinci. |
Pasang Langsung | Klik NAS Tujuan Umum, konfigurasikan parameter terkait sistem file, dan konfigurasikan parameter Mount Path untuk memasang dataset ke jalur tertentu kontainer DLC. Ketika Anda menjalankan pekerjaan DLC, sistem mengakses data sistem file NAS dari jalur ini. Anda juga dapat mengaktifkan atau menonaktifkan Hanya Baca untuk mengonfigurasi izin baca dan tulis, mencapai manajemen yang lebih rinci. Anda juga dapat mengonfigurasi parameter nconnect di Pengaturan Lanjutan untuk meningkatkan throughput kontainer DLC saat mengakses NAS. Parameter nconnect adalah opsi untuk memasang sistem file NFS pada instance ECS Linux. Anda dapat menggunakan parameter ini untuk membuat lebih banyak koneksi TCP antara klien NFS dan instance ECS untuk meningkatkan throughput. Kami merekomendasikan Anda mengatur parameter nconnect menjadi 4. Contoh kode: |
Lampirkan dataset NAS di DSW
Ketika membuat instance DSW, Anda dapat melampirkan dataset NAS ke instance tersebut. Gambar berikut menunjukkan parameter utama.
Dataset Mounting: Konfigurasikan parameter berikut untuk melampirkan dataset.
Custom Dataset: Klik
. Pada tab General-purpose NAS panel Custom Dataset, pilih dataset NAS.Mount Path: Setelah memilih dataset, sistem secara otomatis mengaitkan jalur pemasangan yang dikonfigurasi dalam dataset. Anda dapat mengakses data sistem file NAS dari jalur ini di lingkungan pengembangan DSW.
Working Directory: Anda dapat memilih dataset dari daftar drop-down. Kemudian, sistem menyinkronkan dataset ke direktori /mnt/workspace DSW.
Lampirkan dataset NAS di EAS
Ketika menyebarkan layanan EAS, Anda dapat melampirkan dataset NAS ke layanan EAS. Gambar berikut menunjukkan parameter utama.
Di bagian Environment Information, konfigurasikan Model Settings. Klik Standard NAS dan konfigurasikan parameter berikut:
Select a file system: Pilih sistem file NAS.
Mount Target: Pilih target pemasangan. Layanan EAS mengakses sistem file NAS dari target pemasangan ini.
File System Path: Jalur spesifik tempat Anda ingin memasang dataset NAS di instance NAS.
Mount Path: Jalur tempat Anda ingin melampirkan dataset NAS ke instance layanan dan digunakan untuk membaca file dari NAS.