Pekerjaan pelatihan ML yang berjalan di beberapa Pod memerlukan tampilan data pelatihan yang tunggal dan konsisten. Apsara File Storage NAS (NAS) menyediakan sistem file Network File System (NFS) bersama yang dapat dipasang secara simultan oleh beberapa Pod, sehingga sangat cocok untuk skenario ini. Topik ini memandu Anda melalui proses pembuatan sistem file NAS, pendaftarannya sebagai Persistent Volume (PV) dan Persistent Volume Claim (PVC) Kubernetes di kluster ACK Anda, serta pengisian data pelatihan untuk digunakan dengan Arena.
Sebelum memulai
Sebelum memulai, pastikan Anda telah memiliki:
Kluster ACK yang aktif dan berjalan
Izin yang cukup untuk membuat sistem file NAS dan mengelola resource penyimpanan ACK
Instance Elastic Compute Service (ECS) di Virtual Private Cloud (VPC) yang sama dengan kluster ACK Anda, yang digunakan untuk memasang dan mengisi sistem file NAS
Pertimbangan
Tinjau batasan berikut sebelum memulai:
Diperlukan penempatan dalam VPC yang sama. Sistem file NAS, titik pemasangannya, dan kluster ACK harus berada dalam VPC yang sama.
Jenis protokol memengaruhi performa multi-writer. NFSv3 memberikan performa lebih baik ketika beberapa instance ECS tidak perlu menulis ke file yang sama secara simultan. Extreme NAS hanya mendukung NFSv3.
Kapasitas PV hanya digunakan untuk pencocokan. Nilai kapasitas yang ditetapkan pada PV dan PVC hanya digunakan untuk mencocokkan PVC ke PV—nilai ini tidak membatasi kapasitas penyimpanan aktual yang dapat digunakan. Batas penyimpanan aktual ditentukan oleh spesifikasi sistem file NAS.
PV statis tidak mendukung archiveOnDelete. Jika Anda menetapkan kebijakan reclaim ke Delete pada PV statis, PV dan data NAS tidak akan dihapus saat PVC dihapus. Gunakan Retain (default) kecuali Anda menggunakan volume NAS yang disediakan secara dinamis.
Langkah 1: Buat instance NAS
Buat sistem file NAS tujuan umum di wilayah dan VPC yang sama dengan kluster ACK Anda.
Untuk petunjuk langkah demi langkah, lihat Buat sistem file NAS tujuan umum menggunakan konsol.
Saat mengonfigurasi sistem file, gunakan nilai wajib berikut:
| Parameter | Nilai wajib |
|---|---|
| File system type | General-purpose NAS |
| Region | Wilayah yang sama dengan kluster ACK Anda |
| VPC | VPC yang sama dengan kluster ACK Anda |
| Protocol type | NFS |
Langkah 2: Pasang sistem file ke instance ECS
Pasang sistem file NAS ke instance ECS agar nantinya Anda dapat mengisinya dengan data pelatihan. Langkah ini menggunakan fitur pemasangan satu klik di konsol NAS. Untuk metode pemasangan lainnya, lihat Skenario pemasangan sistem file.
Pasang sistem file NAS
Masuk ke konsol NAS. Di panel navigasi kiri, pilih File System > File System List.
Di bilah navigasi atas, pilih kelompok sumber daya dan wilayah tempat sistem file Anda berada.

Temukan sistem file yang telah Anda buat dan klik Mount di kolom Tindakan.
Pertama kali menggunakan fitur mount, NAS akan meminta Anda menetapkan peran terkait layanan AliyunServiceRoleForNasEcsHandler. Ikuti instruksi di layar untuk menyelesaikan otorisasi. Untuk detailnya, lihat Peran terkait layanan NAS.
Di panel Mount, konfigurasi pengaturan pemasangan:
Pilih titik pemasangan dan klik Next.
Pilih sebuah Instans ECS dan klik Next. Instans ECS harus berada dalam VPC yang sama dengan sistem file. Jika Anda tidak dapat menemukan instans dalam daftar, segarkan halaman dan coba lagi. > Note: Untuk memasang sistem file NAS pada beberapa instans ECS sekaligus, lihat Memasang sistem file NFS pada beberapa instans ECS sekaligus.
Konfigurasi parameter pemasangan:
Parameter Deskripsi Wajib Default Mount path Direktori lokal pada instance ECS tempat sistem file akan dipasang. Ya — Automatic mount Jika diaktifkan, sistem file akan dipasang ulang secara otomatis saat instance ECS dinyalakan ulang. Tidak Diaktifkan Protocol type Versi protokol NFS. General-purpose NAS mendukung NFSv3 dan NFSv4; Extreme NAS hanya mendukung NFSv3. Gunakan NFSv3 untuk performa optimal ketika beberapa instance ECS tidak perlu menulis ke file yang sama secara simultan. Ya — NAS directory Direktori dalam sistem file NAS yang akan dipasang. Masukkan /untuk direktori root atau subdirektori seperti/abc. Jika direktori tidak ada, pilih Confirm New Directory — Anda juga harus menetapkan UID, GID, dan izin POSIX untuk direktori baru tersebut.Tidak /(root)Mount parameters Flag pemasangan NFS. Untuk referensi parameter lengkap, lihat Pasang sistem file NFS pada instance ECS Linux. Tidak Parameter pemasangan default
Klik Complete. Operasi pemasangan memerlukan waktu sekitar 1 hingga 2 menit. Saat status pemasangan menampilkan Mounted, sistem file NAS siap digunakan. Jika status menampilkan Failed, gunakan tool troubleshooting bawaan. Untuk panduan, lihat Pasang sistem file NFS pada instance ECS Linux.

Verifikasi pemasangan
Hubungkan ke instance ECS dan jalankan perintah berikut untuk memastikan sistem file dapat diakses:
mkdir /mnt/dir1
mkdir /mnt/dir2
touch /mnt/file1
echo 'some file content' > /mnt/file2
ls /mntOutput menampilkan dir1, dir2, file1, dan file2:

Untuk melihat detail pemasangan atau memeriksa kapasitas sistem file, jalankan mount -l atau df -h.
Setiap sistem file NAS memerlukan titik pemasangan untuk terhubung ke instance ECS. Untuk menambahkan titik pemasangan atau mencari alamat titik pemasangan yang sudah ada, lihat Kelola titik pemasangan. Saat menambahkan titik pemasangan, atur Mount target type ke VPC dan pilih VPC serta vSwitch yang sama dengan kluster ACK Anda.
Langkah 3: Buat PV dan PVC
Daftarkan sistem file NAS di kluster ACK Anda sebagai PV, lalu buat PVC agar Pod Anda dapat mengklaim penyimpanan darinya.
Buat PV
Masuk ke konsol ACK. Di panel navigasi kiri, klik Clusters.konsol NAS
Di halaman Clusters, klik nama kluster target. Di panel navigasi kiri, pilih Volumes > Persistent Volumes.
Di halaman Persistent Volumes, klik Create. Konfigurasi parameter dalam dialog dan klik OK.
Parameter Deskripsi Wajib Default Contoh PV type Pilih NAS. Ya — NAS Name Nama unik untuk PV dalam kluster. Ya — pv-nasCapacity Hanya digunakan untuk pencocokan PVC — tidak membatasi kapasitas penyimpanan aktual yang dapat digunakan. Batas penyimpanan aktual ditentukan oleh spesifikasi sistem file NAS. Untuk detailnya, lihat Sistem file NAS tujuan umum dan Sistem file NAS Ekstrem. Ya — 5 GiAccess mode ReadWriteMany memungkinkan beberapa node memasang volume secara simultan dalam mode baca-tulis. ReadWriteOnce membatasi pemasangan hanya pada satu node. Ya — ReadWriteManyEnable CNFS Apakah akan menggunakan Container Network File System (CNFS) untuk O&M otomatis, akselerasi cache, dan pemantauan performa. Untuk mengelola sistem file NAS yang sudah ada dengan CNFS, lihat Buat CNFS untuk mengelola sistem file NAS (Direkomendasikan). Tidak Dinonaktifkan Dinonaktifkan Mount target domain name Hanya tersedia saat CNFS dinonaktifkan. Alamat titik pemasangan NAS. Pilih dari titik pemasangan yang telah ditambahkan sebelumnya, atau masukkan nama domain kustom. Untuk mencari alamatnya, lihat Kelola titik pemasangan. Ya (saat CNFS dinonaktifkan) — 0c47****-mpk25.cn-shenzhen.nas.aliyuncs.coMount path (Advanced) Subdirektori sistem file NAS yang akan dipasang. Untuk Extreme NAS, path harus dimulai dengan /share(misalnya,/share/data). Jika direktori tidak ada, direktori tersebut akan dibuat secara otomatis.Tidak /(root)/dataReclaim policy Retain (default): saat PVC dihapus, PV dan data NAS tetap dipertahankan dan harus dibersihkan secara manual. Delete: harus digunakan dengan archiveOnDelete. PV statis tidak mendukungarchiveOnDelete, sehingga PV dan data tidak akan dihapus meskipun kebijakan ini ditetapkan. Untuk konfigurasiarchiveOnDelete, lihat Gunakan volume NAS yang disediakan secara dinamis.Tidak Retain RetainMount options Versi protokol NFS dan flag pemasangan. NFSv3 memberikan performa lebih baik untuk beban kerja pelatihan ML di mana beberapa klien membaca dari dataset yang sama tanpa penulisan konkuren. Tidak — nolock,tcp,noresvport<br>vers=3Label Label yang akan dilampirkan ke PV. Tidak — pv-nas
Setelah PV dibuat, PV tersebut akan muncul di halaman Persistent Volumes.
Buat PVC
Di panel navigasi, pilih Storage > Persistent Volume Claims.
Di halaman Persistent Volume Claims, klik Create. Konfigurasi parameter dan klik OK.
Parameter Deskripsi Wajib Default Contoh PVC type Pilih NAS. Ya — NAS Name Nama unik untuk PVC dalam kluster. Ya — pvc-nasAllocation mode Pilih Use Existing Persistent Volume untuk mengikat ke PV yang dibuat sebelumnya. Atau, pilih Create Volume untuk menyediakan PV baru secara inline. Ya — Use Existing Persistent Volume Existing volumes Pilih PV yang dibuat pada langkah sebelumnya. Ya (saat menggunakan PV yang sudah ada) — pv-nasCapacity Kapasitas penyimpanan yang diklaim. Hanya digunakan untuk pencocokan PVC ke PV dan tidak membatasi kapasitas aktual yang dapat digunakan. Ya — 5
Verifikasi PV dan PVC
Setelah membuat PVC, pastikan PVC tersebut terikat ke PV. Hubungkan ke salah satu node di kluster ACK dan jalankan:
kubectl get pvc pvc-nasOutput menunjukkan PVC dalam status Bound:
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
pvc-nas Bound pv-nas 5Gi RWX 1mJika statusnya Pending, periksa apakah nama PV dalam PVC sesuai persis dan mode aksesnya kompatibel.
Langkah 4: Isi PVC dengan data
Karena kluster ACK mengakses data bersama melalui PVC, unggah data pelatihan Anda langsung ke sistem file NAS yang dibuat pada Langkah 1.
Hubungkan ke salah satu node ECS di kluster ACK menggunakan Workbench. Untuk metode koneksi lainnya, lihat Ikhtisar metode koneksi ke instance ECS.
Sistem file NFS dipasang ke
/mnt(dari Langkah 2). Buat dua direktori untuk menyimpan set data pelatihan:cd /mnt/ mkdir tf_data/ mkdir pytorch_data/Unduh dataset MNIST TensorFlow:
cd tf_data git clone https://code.aliyun.com/xiaozhou/tensorflow-sample-code.git mv tensorflow-sample-code/data/* ./ && rm -rf tensorflow-sample-codeUnduh dataset MNIST PyTorch:
cd pytorch_data git clone https://code.aliyun.com/370272561/mnist-pytorch.git mv mnist-pytorch/MNIST ./ && rm -rf mnist-pytorch
Direktori tf_data/ kini berisi data pelatihan MNIST TensorFlow, dan pytorch_data/ berisi data MNIST PyTorch. Kedua direktori tersebut dapat diakses oleh semua Pod yang memasang klaim pvc-nas.
Langkah selanjutnya
Kirim pekerjaan pelatihan Arena yang menggunakan parameter
--datauntuk memasangpvc-nas.Untuk mengelola pengguna tambahan, buat PVC terpisah yang mengarah ke subdirektori berbeda dari sistem file NAS yang sama. Misalnya, PVC untuk Pengguna A dan Pengguna B dapat mengarah ke sistem file NAS yang sama tetapi harus merujuk ke subdirektori berbeda untuk mengisolasi lingkungan kerja mereka.
Untuk meningkatkan performa NAS dan mengotomatiskan O&M untuk beban kerja produksi, pertimbangkan untuk mengaktifkan CNFS.