Mengonfigurasi volume NAS bersama - Container Service for Kubernetes

File Storage NAS adalah layanan sistem file yang dirancang untuk layanan komputasi, seperti instance Elastic Compute Service (ECS), kluster Elastic High Performance Computing (E-HPC), dan kluster Container Service for Kubernetes (ACK). NAS menyediakan integrasi tanpa hambatan, penyimpanan bersama, dan manajemen keamanan. Layanan ini sangat ideal untuk aplikasi multi-kluster di mana instance ECS, kluster E-HPC, atau kluster ACK perlu mengakses sumber data yang sama. Topik ini menjelaskan cara mengonfigurasi volume NAS bersama.

Informasi latar belakang

Untuk melindungi pekerjaan ilmuwan data dan memberikan akses ke data pelatihan bersama, Anda dapat mengonfigurasi serta memasang volume persisten bersama di lingkungan pengiriman pekerjaan Arena. Hal ini memastikan bahwa kode dan data ilmuwan data tetap tersimpan meskipun kontainer dihapus. Untuk pengembangan tim, Anda dapat mengalokasikan kumpulan penyimpanan bersama agar data dan kode dapat dibagikan di antara anggota tim.

Saat mengirimkan pekerjaan di Arena, gunakan parameter --data untuk mendeklarasikan konfigurasi penyimpanan bersama dan jalur pemasangan di lingkungan operasi. Penyimpanan bersama kemudian dipasang ke direktori yang ditentukan, sehingga memungkinkan pekerjaan menggunakan kembali data atau kode tersebut.

Di Kubernetes, penyimpanan dikelola menggunakan volume persisten (PV) dan klaim volume persisten (PVC). Sebagai administrator kluster, Anda harus membuat PVC terpisah untuk setiap ilmuwan data saat mengalokasikan lingkungan. Misalnya, backend untuk PVC Pengguna A dan Pengguna B dapat dipasang ke sistem file NAS atau CPFS yang sama, namun Anda harus menentukan subdirektori berbeda untuk mengisolasi lingkungan operasi masing-masing.

Langkah 1: Membuat instance NAS

Untuk informasi lebih lanjut tentang cara membuat instance NAS, lihat Buat sistem file NAS tujuan umum menggunakan konsol.

Catatan

Saat membuat instance NAS, perhatikan konfigurasi parameter berikut:

Atur Jenis Sistem File ke General-purpose.
Atur Wilayah ke wilayah yang sama dengan kluster ACK Anda.
Untuk Virtual Private Cloud (VPC), pilih VPC yang sama dengan kluster ACK Anda.
Atur Jenis Protokol ke NFS.

Langkah 2: Memasang sistem file

Setelah membuat instance File Storage NAS, pasang sistem file NFS ke instance ECS dalam VPC yang sama dan verifikasi pemasangannya. Topik ini menggunakan fitur pemasangan satu klik di konsol sebagai contoh. Untuk informasi lebih lanjut tentang metode pemasangan lainnya, lihat Skenario pemasangan sistem file.

Pasang sistem file NAS

Di panel navigasi sebelah kiri, pilih File System > File System List.
Di bilah navigasi atas, pilih kelompok sumber daya dan wilayah tempat sistem file Anda berada.
Temukan sistem file yang telah Anda buat dan klik Mount di kolom Tindakan.
Catatan
Pertama kali menggunakan fitur pemasangan di Konsol NAS, Anda harus menetapkan peran terkait layanan AliyunServiceRoleForNasEcsHandler ke NAS. Ikuti petunjuk di kotak dialog untuk menyelesaikan otorisasi. Untuk informasi lebih lanjut, lihat Peran terkait layanan NAS.

Di panel Mount, lakukan konfigurasi untuk memasang sistem file.

Pilih titik pemasangan dan klik Next.
Pilih instance ECS dan klik Next.
Instance ECS yang dipilih harus berada di VPC yang sama dengan sistem file. Jika tidak, NAS akan memberi peringatan bahwa jaringan mungkin terputus. Lanjutkan dengan hati-hati.
Catatan
- Jika Anda tidak dapat menemukan instance ECS dari daftar tarik-turun, muat ulang halaman dan coba lagi.
- Anda hanya dapat memilih satu instance ECS. Jika ingin memasang sistem file NAS pada beberapa instance ECS, lihat Pasang sistem file NFS pada beberapa instance ECS sekaligus.

Pasang sistem file pada instance ECS.

Parameter	Deskripsi
Mount Path	Masukkan jalur lokal instance ECS tempat Anda ingin memasang sistem file.
Automatic Mount	Secara default, Automatic Mount at Startup dipilih. Saat Anda me-restart instance ECS, Anda tidak perlu memasang ulang sistem file.
Protocol Type	Pilih jenis protokol sistem file. Sistem file NAS tujuan umum mendukung NFSv3 dan NFSv4. Jika Anda tidak perlu memodifikasi file NAS yang sama pada beberapa instance ECS secara bersamaan, kami menyarankan Anda memilih NFSv3 untuk memastikan kinerja optimal. Sistem file NAS Ekstrem hanya mendukung NFSv3.
NAS Directory	Masukkan direktori sistem file NAS. Anda dapat memasukkan direktori root / atau subdirektori, misalnya, /abc. Catatan Jika direktori tidak ada, Anda dapat memilih Confirm New Directory untuk membuat direktori dalam sistem file. Selain itu, Anda harus mengonfigurasi identifier pengguna (UID), identifier grup (GID), dan izin POSIX untuk membuat direktori tersebut. Jika tidak, nilai default dan izin default akan digunakan untuk membuat direktori.
Mount Parameters	Kami menyarankan Anda menggunakan parameter pemasangan default. Untuk informasi lebih lanjut, lihat parameter pemasangan yang dijelaskan di Pasang sistem file NFS pada instance ECS Linux.

Klik Complete.
Pemasangan memerlukan waktu sekitar 1 hingga 2 menit. Jika status pemasangan adalah Mounted, sistem file NAS telah berhasil dipasang pada instance ECS.
Jika status pemasangan adalah Failed, Anda dapat menggunakan alat pemecahan masalah untuk mengatasi masalah tersebut. Untuk informasi lebih lanjut, lihat Pasang sistem file NFS pada instance ECS Linux.
Setelah sistem file dipasang, Anda dapat menghubungkan ke instance ECS dan menjalankan perintah mount -l atau df -h untuk melihat parameter pemasangan atau kapasitas sistem file.

Verifikasi pemasangan

Setelah sistem file dipasang, Anda dapat mengakses dan menggunakannya pada instance ECS seperti direktori biasa. Bagian berikut memberikan contohnya.
Lakukan koneksi jarak jauh ke instance ECS, lalu jalankan perintah berikut untuk mengakses sistem file NAS.
```
mkdir /mnt/dir1
mkdir /mnt/dir2
touch /mnt/file1
echo 'some file content' > /mnt/file2
ls /mnt
```
Jika pesan yang mirip dengan gambar berikut dikembalikan, Anda telah berhasil mengakses sistem file NFS NAS tujuan umum.

Catatan

Di File Storage NAS, Anda harus menggunakan titik pemasangan untuk memasang sistem file ke instance ECS. Untuk informasi lebih lanjut tentang cara menambahkan lebih banyak titik pemasangan dan melihat alamat titik pemasangan, lihat Kelola titik pemasangan.
Saat menambahkan titik pemasangan, perhatikan hal berikut:
- Atur Jenis Titik Pemasangan ke VPC.
- Atur Jaringan VPC dan vSwitch ke VPC dan vSwitch yang sama dengan kluster ACK.

Langkah 3: Mengonfigurasi PV dan PVC untuk kluster ACK

Buat PV

Buat PV untuk mendaftarkan sistem file NAS yang sudah ada ke dalam kluster.

Login ke Konsol ACK. Di panel navigasi kiri, klik Clusters.
Di halaman Clusters, temukan kluster yang Anda inginkan dan klik namanya. Di panel navigasi kiri, pilih Volumes > Persistent Volumes.

Di halaman Persistent Volumes, klik Create. Di kotak dialog yang muncul, konfigurasikan parameter dan klik Create.

Item Konfigurasi		Deskripsi	Contoh
Persistent Volume Type		Pilih NAS.	NAS
Name		Nama PV. Nama harus unik dalam kluster.	pv-nas
Total Capacity		Kapasitas PV. Ini hanya digunakan untuk pencocokan dengan PVC dan tidak membatasi kapasitas aktual yang tersedia. Batas atas penyimpanan aktual ditentukan oleh total kapasitas sistem file NAS. Batas kapasitas aktual sistem file NAS ditentukan oleh spesifikasinya. Untuk informasi lebih lanjut, lihat Sistem file NAS tujuan umum dan Sistem file NAS Ekstrem.	5 Gi
Access Mode		Konfigurasikan mode akses. Nilai yang valid: ReadWriteMany: Volume dapat dipasang sebagai read-write oleh banyak node. ReadWriteOnce: Volume dapat dipasang sebagai read-write oleh satu node.	ReadWriteMany
Use CNFS		Apakah akan menggunakan Container Network File System (CNFS) untuk memanfaatkan kemampuan tambahannya dalam O&M otomatis, akselerasi cache, dan pemantauan kinerja. Untuk menggunakan CNFS dalam mengelola sistem file NAS yang sudah ada, lihat Buat CNFS untuk mengelola sistem file NAS (Direkomendasikan).	Disabled
Mount Target Domain Name		Parameter ini hanya tersedia saat CNFS dinonaktifkan. Alamat titik pemasangan NAS. Untuk mendapatkan alamat tersebut, lihat Kelola titik pemasangan. Select Mount Target: Pilih alamat titik pemasangan yang telah ditambahkan sebelumnya. Custom: Gunakan nama domain kustom sebagai alamat pemasangan. Pastikan Anda telah mengonfigurasi nama domain kustom agar mengarah ke titik pemasangan NAS tujuan.	0c47****-mpk25.cn-shenzhen.nas.aliyuncs.co
Advanced Options (Optional)	Mount Path	Subdirektori sistem file NAS yang akan dipasang. Jika tidak diatur, direktori root akan dipasang secara default. Jika direktori tidak ada dalam sistem file NAS, sistem akan secara otomatis membuat dan memasangnya. Direktori root sistem file NAS tujuan umum adalah `/`. Direktori root sistem file NAS Ekstrem adalah `/share`. Saat memasang subdirektori, `path` harus dimulai dengan `/share` (misalnya, `/share/data`).	/data
	Reclaim Policy	Retain (default): Saat PVC dihapus, PV dan file NAS tidak dihapus. Anda harus menghapusnya secara manual. Delete: Harus digunakan bersama dengan `archiveOnDelete`. PV statis tidak mendukung `archiveOnDelete`. Bahkan jika Anda mengatur kebijakan menjadi Delete, PV dan file NAS tidak benar-benar dihapus saat PVC dihapus. Untuk mengonfigurasi `archiveOnDelete`, lihat Gunakan volume NAS yang disediakan secara dinamis.	Retain
	Mount Options	Parameter pemasangan untuk sistem file NAS, termasuk versi Protokol NFS. Kami menyarankan Anda menggunakan NFSv3.	nolock,tcp,noresvport vers=3
Labels		Label PV.	pv-nas

Setelah PV dibuat, Anda dapat melihatnya di halaman Persistent Volumes.

Buat PVC

Buat PVC untuk mengklaim kapasitas penyimpanan persisten yang dibutuhkan aplikasi Anda.

Di panel navigasi kiri halaman manajemen kluster, pilih Storage > Persistent Volume Claims.

Di halaman Persistent Volume Claims, klik Create. Di kotak dialog yang muncul, konfigurasikan parameter dan klik Create.

Item Konfigurasi	Deskripsi	Contoh
Persistent Volume Claim Type	Pilih NAS.	NAS
Name	Nama PVC. Nama harus unik dalam kluster.	pvc-nas
Provisioning Mode	Pilih Use Existing Persistent Volume. Topik ini menggunakan PV yang telah dibuat sebelumnya. Jika Anda belum membuat PV, Anda dapat mengatur Allocation Pattern ke Create Persistent Volume.	Use Existing Persistent Volume
Existing Persistent Volume	Pilih PV yang telah dibuat sebelumnya.	pv-nas
Total Capacity	Kapasitas volume persisten yang akan diklaim. Kapasitas yang diminta hanya digunakan untuk pencocokan dengan PV dan tidak membatasi kapasitas aktual. Batas kapasitas aktual sistem file NAS ditentukan oleh spesifikasinya. Untuk informasi lebih lanjut, lihat Sistem file NAS tujuan umum dan Sistem file NAS Ekstrem.	5
Access Mode	Mode akses. Nilai yang valid: `ReadWriteMany` (default): Volume dapat dipasang sebagai read-write oleh banyak node. `ReadWriteOnce`: Volume dapat dipasang sebagai read-write oleh satu node. `ReadOnlyMany`: Volume dapat dipasang sebagai read-only oleh banyak node.	ReadWriteMany

Langkah 4: Isi PVC dengan data

Karena kluster Kubernetes mengakses data bersama melalui PVC, Anda hanya perlu mengisi instance NAS yang sesuai yang dibuat di Langkah 1.

Gunakan Workbench untuk login ke salah satu node ECS di kluster ACK. Untuk informasi lebih lanjut, lihat Login ke instance Linux. Untuk informasi lebih lanjut tentang cara lain untuk menghubungkan ke instance ECS, lihat Ikhtisar metode untuk menghubungkan ke instance ECS.
Di Langkah 2, sistem file NFS dipasang ke direktori /mnt instance ECS. Jalankan perintah berikut untuk membuat dua direktori, tf_data/ dan pytorch_data/, di direktori yang dipasang. Direktori-direktori ini akan menyimpan data pelatihan untuk TF-mnist dan Pytorch-mnist, masing-masing.
```
cd /mnt/
mkdir tf_data/
mkdir pytorch_data/
```

Jalankan perintah berikut untuk mengunduh dataset TF-mnist.

cd tf_data
git clone https://code.aliyun.com/xiaozhou/tensorflow-sample-code.git
mv tensorflow-sample-code/data/* ./ && rm -rf tensorflow-sample-code

Jalankan perintah berikut untuk mengunduh dataset Pytorch-mnist.

cd pytorch_data
git clone https://code.aliyun.com/370272561/mnist-pytorch.git
mv mnist-pytorch/MNIST ./ && rm -rf mnist-pytorch