Container Service for Kubernetes:Konfigurasikan volume NAS bersama

Sebelum memulai

Pastikan Anda telah memiliki:

• Kluster ACK yang sedang berjalan

• Izin untuk membuat sistem file NAS dan mengelola resource penyimpanan ACK

• Instance Elastic Compute Service (ECS) di Virtual Private Cloud (VPC) yang sama dengan kluster ACK Anda, untuk memasang dan mengisi sistem file NAS

Catatan penggunaan

Perhatikan batasan berikut:

• Diperlukan co-lokasi VPC. Sistem file NAS, titik pemasangannya, dan kluster ACK Anda harus berada dalam VPC yang sama.

• Jenis protokol memengaruhi kinerja penulisan multipel. NFSv3 memberikan kinerja lebih baik ketika beberapa instance ECS tidak menulis ke file yang sama secara bersamaan. NAS Ekstrem hanya mendukung NFSv3.

• Kapasitas PV hanya digunakan untuk pencocokan. Nilai kapasitas tidak membatasi penyimpanan aktual. Batas aktual bergantung pada spesifikasi sistem file NAS.

• PV statis tidak mendukung archiveOnDelete. Menetapkan Delete pada PV statis tidak benar-benar menghapus PV atau data NAS. Gunakan Retain (default) kecuali jika menggunakan volume NAS yang disediakan secara dinamis.

Informasi latar belakang

Mengonfigurasi volume penyimpanan bersama untuk lingkungan pekerjaan Arena menjaga kode dan data ilmuwan data agar tidak hilang saat kontainer dihapus, serta memudahkan akses terhadap data pelatihan bersama. Dalam pengembangan tim, mengalokasikan pool penyimpanan bersama memungkinkan data dan kode dibagikan di seluruh tim.

Saat mengirimkan pekerjaan Arena, Anda dapat menggunakan parameter --data untuk mendeklarasikan penyimpanan bersama dan jalur pemasangan. Penyimpanan bersama tersebut dipasang pada direktori yang ditentukan, sehingga pekerjaan berikutnya dapat menggunakan kembali data atau kode ini.

Di Kubernetes, objek penyimpanan dijelaskan oleh Persistent Volume (PV) dan Persistent Volume Claim (PVC). Sebagai administrator kluster, saat menyiapkan lingkungan, buat PVC terpisah untuk setiap ilmuwan data. Misalnya, PVC untuk pengguna A dan pengguna B dapat memasang backend NAS atau CPFS yang sama, tetapi harus mengarah ke subdirektori berbeda agar lingkungan kerja mereka tetap terisolasi.

Langkah 1: Buat instance NAS

Buat sistem file NAS tujuan umum di wilayah dan VPC yang sama dengan kluster ACK Anda.

Lihat Buat sistem file NAS tujuan umum menggunakan konsol.

Gunakan nilai berikut:

Langkah 2: Pasang sistem file ke instance ECS

Pasang sistem file NAS ke instance ECS untuk kemudian diisi dengan data pelatihan. Langkah ini menggunakan fitur pemasangan satu klik. Lihat Skenario pemasangan sistem file untuk metode lainnya.

Verifikasi pemasangan

Hubungkan ke instance ECS dan jalankan perintah berikut untuk memverifikasi akses:

mkdir /mnt/dir1
mkdir /mnt/dir2
touch /mnt/file1
echo 'some file content' > /mnt/file2
ls /mnt

Output akan menampilkan dir1, dir2, file1, dan file2:

Untuk melihat detail pemasangan atau memeriksa kapasitas, jalankan mount -l atau df -h.

Setiap sistem file NAS memerlukan titik pemasangan. Lihat Kelola titik pemasangan untuk menambahkan atau mencari titik pemasangan. Atur Mount target type ke VPC dan pilih VPC serta vSwitch yang sama dengan kluster ACK Anda.

Langkah 3: Buat PV dan PVC

Daftarkan sistem file NAS sebagai PV di kluster ACK Anda, lalu buat PVC untuk akses pod.

kubectl get pvc pvc-nas

NAME       STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
pvc-nas    Bound    pv-nas   5Gi        RWX                           1m

Langkah 4: Isi PVC dengan data

Kluster Kubernetes mengakses data bersama melalui PVC (yang mengarah ke instance NAS yang dibuat di Langkah 1), sehingga Anda hanya perlu mengisi NAS yang mendasari PVC tersebut. Prosedur berikut membuat dua Kubernetes Job yang menyalin dataset MNIST PyTorch dan TensorFlow dari gambar kontainer contoh ke NAS pada direktori yang ditentukan. Contoh ini menggunakan PVC pvc-nas dari Langkah 3.

1. Buat file bernama prepare-pytorch-mnist-data.yaml dengan konten berikut:

   apiVersion: batch/v1
   kind: Job
   metadata:
     name: prepare-pytorch-mnist-data
     namespace: default
   spec:
     completions: 1
     parallelism: 1
     backoffLimit: 3
     ttlSecondsAfterFinished: 3600
     template:
       spec:
         containers:
         - name: pytorch-mnist-example
           image: kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/pytorch-mnist-example:2.5.1-cuda12.4-cudnn9-runtime
           imagePullPolicy: Always
           command:
           - /bin/bash
           - -c
           args:
           - |
             set -eux
             mkdir -p /mnt/pytorch_data/MNIST/raw
             cp -r /data/MNIST/raw/* /mnt/pytorch_data/MNIST/raw || { echo "Copy failed"; exit 1; }
             echo "MNIST data prepared successfully at /mnt/pytorch_data/MNIST/raw."
           resources:
             requests:
               cpu: 100m
               memory: 128Mi
             limits:
               cpu: 100m
               memory: 128Mi
           volumeMounts:
           - name: training-data
             mountPath: /mnt
         volumes:
         - name: training-data
           persistentVolumeClaim:
             claimName: pvc-nas
         restartPolicy: Never

2. Buat Job untuk menyalin dataset MNIST PyTorch ke /pytorch_data pada NAS:

   # Create the Job
   kubectl create -f prepare-pytorch-mnist-data.yaml
   
   # Wait for the Job to complete
   kubectl wait --for=condition=complete --namespace=default --timeout=300s job/prepare-pytorch-mnist-data

   Saat Job berhasil selesai, outputnya adalah:

   job.batch/prepare-pytorch-mnist-data condition met

3. Buat file bernama prepare-tensorflow-mnist-data.yaml dengan konten berikut:

   apiVersion: batch/v1
   kind: Job
   metadata:
     name: prepare-tensorflow-mnist-data
     namespace: default
   spec:
     completions: 1
     parallelism: 1
     backoffLimit: 3
     ttlSecondsAfterFinished: 3600
     template:
       spec:
         containers:
         - name: tensorflow-mnist-example
           image: kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/tensorflow-mnist-example:2.15.0-gpu
           imagePullPolicy: Always
           command:
           - /bin/bash
           - -c
           args:
           - |
             set -eux
             mkdir -p /mnt/tf_data
             cp -r /data/mnist.npz /mnt/tf_data/mnist.npz || { echo "Copy failed"; exit 1; }
             echo "MNIST data prepared successfully at /mnt/tf_data/mnist.npz."
           resources:
             requests:
               cpu: 100m
               memory: 128Mi
             limits:
               cpu: 100m
               memory: 128Mi
           volumeMounts:
           - name: training-data
             mountPath: /mnt
         volumes:
         - name: training-data
           persistentVolumeClaim:
             claimName: pvc-nas
         restartPolicy: Never

4. Buat Job untuk menyalin dataset MNIST TensorFlow ke /tf_data pada NAS:

   # Create the Job
   kubectl create -f prepare-tensorflow-mnist-data.yaml
   
   # Wait for the Job to complete
   kubectl wait --for=condition=complete --namespace=default --timeout=300s job/prepare-tensorflow-mnist-data

   Saat Job berhasil selesai, outputnya adalah:

   job.batch/prepare-tensorflow-mnist-data condition met

Contoh ini menggunakan PVC bernama pvc-nas di namespace default. Jika PVC Anda memiliki nama berbeda atau berada di namespace berbeda, sesuaikan manifes tersebut.

/tf_data berisi data MNIST TensorFlow dan /pytorch_data berisi data MNIST PyTorch. Keduanya dapat diakses oleh pod apa pun yang memasang pvc-nas.

Langkah berikutnya

• Kirimkan pekerjaan pelatihan Arena dengan --data untuk memasang pvc-nas.

• Untuk mengisolasi lingkungan pengguna, buat PVC terpisah yang mengarah ke subdirektori berbeda dari sistem file NAS yang sama.

• Untuk beban kerja produksi, pertimbangkan mengaktifkan CNFS.