Container Service for Kubernetes:Konfigurasikan volume NAS bersama

Sebelum memulai

Pastikan Anda memiliki:

• Kluster ACK yang sedang berjalan

• Izin untuk membuat sistem file NAS dan mengelola resource penyimpanan ACK

• Instance Elastic Compute Service (ECS) dalam Virtual Private Cloud (VPC) yang sama dengan kluster ACK Anda, untuk memasang dan mengisi sistem file NAS

Catatan penggunaan

Perhatikan batasan berikut:

• Diperlukan co-location VPC. Sistem file NAS, titik pemasangannya, dan kluster ACK Anda harus berada dalam VPC yang sama.

• Jenis protokol memengaruhi performa penulisan multipel. NFSv3 memberikan performa lebih baik ketika beberapa instance ECS tidak menulis ke file yang sama secara bersamaan. NAS Ekstrem hanya mendukung NFSv3.

• Kapasitas PV hanya digunakan untuk pencocokan. Nilai kapasitas tidak membatasi penyimpanan aktual. Batas aktual bergantung pada spesifikasi sistem file NAS.

• PV statis tidak mendukung archiveOnDelete. Menetapkan Delete pada PV statis tidak benar-benar menghapus PV atau data NAS. Gunakan Retain (default) kecuali jika menggunakan volume NAS yang disediakan secara dinamis.

Informasi latar belakang

Mengonfigurasi volume penyimpanan bersama untuk lingkungan pekerjaan Arena menjaga pekerjaan ilmuwan data (kode dan data) agar tidak hilang saat kontainer dihapus, serta memudahkan akses terhadap data pelatihan bersama. Dalam pengembangan tim, mengalokasikan kumpulan penyimpanan bersama memungkinkan data dan kode dibagikan lintas tim.

Saat mengirimkan pekerjaan Arena, Anda dapat menggunakan parameter --data untuk mendeklarasikan penyimpanan bersama dan jalur pemasangan. Penyimpanan bersama dipasang pada direktori yang ditentukan, dan pekerjaan selanjutnya dapat menggunakan ulang data atau kode tersebut.

Di Kubernetes, objek penyimpanan dijelaskan oleh Persistent Volume (PV) dan Persistent Volume Claim (PVC). Sebagai administrator kluster, saat menetapkan lingkungan, buatlah PVC terpisah untuk setiap ilmuwan data. Misalnya, PVC untuk pengguna A dan pengguna B dapat memasang backend NAS atau CPFS yang sama, tetapi harus mengarah ke subdirektori berbeda agar lingkungan kerja mereka tetap terisolasi.

Langkah 1: Buat instance NAS

Buat sistem file NAS tujuan umum di wilayah dan VPC yang sama dengan kluster ACK Anda.

Lihat Buat sistem file NAS tujuan umum menggunakan Konsol.

Gunakan nilai berikut:

Langkah 2: Pasang sistem file ke instance ECS

Pasang sistem file NAS ke instance ECS untuk kemudian diisi dengan data pelatihan. Langkah ini menggunakan fitur pemasangan satu klik. Lihat Skenario pemasangan sistem file untuk metode lainnya.

mkdir /mnt/dir1
mkdir /mnt/dir2
touch /mnt/file1
echo 'some file content' > /mnt/file2
ls /mnt

dir1  dir2  file1  file2

Langkah 3: Buat PV dan PVC

Daftarkan sistem file NAS sebagai PV di kluster ACK Anda, lalu buat PVC untuk akses pod.

kubectl get pvc pvc-nas

NAME       STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
pvc-nas    Bound    pv-nas   5Gi        RWX                           1m

Langkah 4: Isi PVC dengan data

Kluster Kubernetes mengakses data bersama melalui PVC (yang mengarah ke instance NAS yang dibuat di Langkah 1), sehingga Anda hanya perlu mengisi NAS yang mendasari PVC tersebut. Prosedur berikut membuat dua Kubernetes Job yang menyalin dataset MNIST PyTorch dan TensorFlow dari gambar kontainer contoh ke NAS pada direktori yang ditentukan. Contoh ini menggunakan PVC pvc-nas dari Langkah 3.

1. Buat file bernama prepare-pytorch-mnist-data.yaml dengan konten berikut:

   apiVersion: batch/v1
   kind: Job
   metadata:
     name: prepare-pytorch-mnist-data
     namespace: default
   spec:
     completions: 1
     parallelism: 1
     backoffLimit: 3
     ttlSecondsAfterFinished: 3600
     template:
       spec:
         containers:
         - name: pytorch-mnist-example
           image: kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/pytorch-mnist-example:2.5.1-cuda12.4-cudnn9-runtime
           imagePullPolicy: Always
           command:
           - /bin/bash
           - -c
           args:
           - |
             set -eux
             mkdir -p /mnt/pytorch_data/MNIST/raw
             cp -r /data/MNIST/raw/* /mnt/pytorch_data/MNIST/raw || { echo "Copy failed"; exit 1; }
             echo "MNIST data prepared successfully at /mnt/pytorch_data/MNIST/raw."
           resources:
             requests:
               cpu: 100m
               memory: 128Mi
             limits:
               cpu: 100m
               memory: 128Mi
           volumeMounts:
           - name: training-data
             mountPath: /mnt
         volumes:
         - name: training-data
           persistentVolumeClaim:
             claimName: pvc-nas
         restartPolicy: Never

2. Buat Job untuk menyalin dataset MNIST PyTorch ke /pytorch_data pada NAS:

   # Create the Job
   kubectl create -f prepare-pytorch-mnist-data.yaml
   
   # Wait for the Job to complete
   kubectl wait --for=condition=complete --namespace=default --timeout=300s job/prepare-pytorch-mnist-data

   Saat Job selesai berhasil, outputnya adalah:

   job.batch/prepare-pytorch-mnist-data condition met

3. Buat file bernama prepare-tensorflow-mnist-data.yaml dengan konten berikut:

   apiVersion: batch/v1
   kind: Job
   metadata:
     name: prepare-tensorflow-mnist-data
     namespace: default
   spec:
     completions: 1
     parallelism: 1
     backoffLimit: 3
     ttlSecondsAfterFinished: 3600
     template:
       spec:
         containers:
         - name: tensorflow-mnist-example
           image: kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/tensorflow-mnist-example:2.15.0-gpu
           imagePullPolicy: Always
           command:
           - /bin/bash
           - -c
           args:
           - |
             set -eux
             mkdir -p /mnt/tf_data
             cp -r /data/mnist.npz /mnt/tf_data/mnist.npz || { echo "Copy failed"; exit 1; }
             echo "MNIST data prepared successfully at /mnt/tf_data/mnist.npz."
           resources:
             requests:
               cpu: 100m
               memory: 128Mi
             limits:
               cpu: 100m
               memory: 128Mi
           volumeMounts:
           - name: training-data
             mountPath: /mnt
         volumes:
         - name: training-data
           persistentVolumeClaim:
             claimName: pvc-nas
         restartPolicy: Never

4. Buat Job untuk menyalin dataset MNIST TensorFlow ke /tf_data pada NAS:

   # Create the Job
   kubectl create -f prepare-tensorflow-mnist-data.yaml
   
   # Wait for the Job to complete
   kubectl wait --for=condition=complete --namespace=default --timeout=300s job/prepare-tensorflow-mnist-data

   Saat Job selesai berhasil, outputnya adalah:

   job.batch/prepare-tensorflow-mnist-data condition met

Contoh ini menggunakan PVC bernama pvc-nas di namespace default. Jika PVC Anda memiliki nama berbeda atau berada di namespace lain, sesuaikan manifes tersebut.

/tf_data berisi data MNIST TensorFlow dan /pytorch_data berisi data MNIST PyTorch. Keduanya dapat diakses oleh pod apa pun yang memasang pvc-nas.

Langkah berikutnya

• Kirimkan pekerjaan pelatihan Arena dengan --data untuk memasang pvc-nas.

• Untuk mengisolasi lingkungan pengguna, buat PVC terpisah yang mengarah ke subdirektori berbeda dari sistem file NAS yang sama.

• Untuk beban kerja produksi, pertimbangkan mengaktifkan CNFS.