Container Service for Kubernetes：Praktik terbaik untuk memantau sumber daya GPU

Catatan penting

• Metrik pemantauan GPU dikumpulkan setiap interval 15 detik, yang dapat menyebabkan sedikit keterlambatan data pada dasbor Grafana. Akibatnya, dasbor mungkin menunjukkan tidak ada Memori GPU yang tersedia pada suatu Node, tetapi Pod tetap berhasil dijadwalkan ke Node tersebut. Hal ini dapat terjadi jika sebuah Pod menyelesaikan tugasnya dan melepaskan sumber daya GPU dalam interval pengumpulan 15 detik (antara dua pengambilan data), sehingga penjadwal dapat menempatkan Pod yang tertunda ke Node tersebut sebelum pembaruan metrik berikutnya.

• Dasbor Pemantauan hanya memantau sumber daya GPU yang diminta melalui resources.limits dalam sebuah Pod. Untuk informasi lebih lanjut, lihat Resource Management for Pods and Containers.

  Data pada Dasbor Pemantauan mungkin tidak akurat jika Anda menggunakan sumber daya GPU dengan cara berikut:

  • Menjalankan aplikasi GPU langsung pada suatu Node.

  • Menjalankan aplikasi GPU dalam kontainer yang dijalankan langsung dengan perintah docker run.

  • Meminta sumber daya GPU untuk suatu Pod dengan mengatur variabel lingkungan NVIDIA_VISIBLE_DEVICES=all atau NVIDIA_VISIBLE_DEVICES=<GPU ID> secara langsung di bagian env Pod dan menjalankan program GPU.

  • Mengonfigurasi privileged: true dalam securityContext Pod dan menjalankan program GPU.

  • Menjalankan program GPU dalam Pod di mana variabel lingkungan NVIDIA_VISIBLE_DEVICES tidak diatur, tetapi citra kontainer yang digunakan oleh Pod memiliki konfigurasi default NVIDIA_VISIBLE_DEVICES=all.

• Memori GPU yang dialokasikan dan Memori GPU yang digunakan tidak selalu sama. Misalnya, sebuah kartu GPU memiliki total Memori GPU 16 GiB. Anda mengalokasikan 5 GiB darinya ke sebuah Pod yang perintah startup-nya adalah sleep 1000. Dalam kasus ini, Pod berada dalam status Running tetapi tidak akan menggunakan GPU selama 1000 detik. Akibatnya, 5 GiB Memori GPU dialokasikan, tetapi Memori GPU yang digunakan adalah 0 GiB.

Langkah 1: Membuat kelompok node

Dasbor Pemantauan GPU menampilkan metrik untuk Pod yang meminta sumber daya GPU baik sebagai satu kartu penuh maupun jumlah tertentu dari Memori GPU, opsional dengan daya komputasi.

Contoh ini membuat tiga Kelompok Node dalam suatu kluster untuk menunjukkan penjadwalan Pod dan penggunaan sumber daya untuk model permintaan GPU yang berbeda. Untuk petunjuk terperinci tentang pembuatan Kelompok Node, lihat Membuat kelompok node. Konfigurasi untuk Kelompok Node adalah sebagai berikut:

Langkah 2: Men-deploy aplikasi GPU

Setelah membuat Kelompok Node, jalankan Job pengujian GPU pada Node untuk memverifikasi bahwa metrik GPU dikumpulkan dengan benar. Untuk informasi tentang label dan hubungan penjadwalan yang diperlukan untuk setiap Job, lihat Jenis node GPU dan label penjadwalan. Konfigurasi untuk ketiga Job adalah sebagai berikut:

1. Buat file manifest Job.

   • Buat file bernama tensorflow-benchmark-exclusive.yaml dengan konten YAML berikut.

     apiVersion: batch/v1
     kind: Job
     metadata:
       name: tensorflow-benchmark-exclusive
     spec:
       parallelism: 1
       template:
         metadata:
           labels:
             app: tensorflow-benchmark-exclusive
         spec:
           containers:
           - name: tensorflow-benchmark
             image: registry.cn-beijing.aliyuncs.com/ai-samples/gpushare-sample:benchmark-tensorflow-2.2.3
             command:
             - bash
             - run.sh
             - --num_batches=5000000
             - --batch_size=8
             resources:
               limits:
                 nvidia.com/gpu: 1 #Apply for a GPU.
             workingDir: /root
           restartPolicy: Never

   • Buat file bernama tensorflow-benchmark-share-mem.yaml dengan konten YAML berikut.

     apiVersion: batch/v1
     kind: Job
     metadata:
       name: tensorflow-benchmark-share-mem
     spec:
       parallelism: 1
       template:
         metadata:
           labels:
             app: tensorflow-benchmark-share-mem
         spec:
           containers:
           - name: tensorflow-benchmark
             image: registry.cn-beijing.aliyuncs.com/ai-samples/gpushare-sample:benchmark-tensorflow-2.2.3
             command:
             - bash
             - run.sh
             - --num_batches=5000000
             - --batch_size=8
             resources:
               limits:
                 aliyun.com/gpu-mem: 10 #Apply for 10 GiB of GPU memory.
             workingDir: /root
           restartPolicy: Never

   • Buat file bernama tensorflow-benchmark-share-mem-core.yaml dengan konten YAML berikut.

     apiVersion: batch/v1
     kind: Job
     metadata:
       name: tensorflow-benchmark-share-mem-core
     spec:
       parallelism: 1
       template:
         metadata:
           labels:
             app: tensorflow-benchmark-share-mem-core
         spec:
           containers:
           - name: tensorflow-benchmark
             image: registry.cn-beijing.aliyuncs.com/ai-samples/gpushare-sample:benchmark-tensorflow-2.2.3
             command:
             - bash
             - run.sh
             - --num_batches=5000000
             - --batch_size=8
             resources:
               limits:
                 aliyun.com/gpu-mem: 10 #Apply for 10 GiB of GPU memory.
                 aliyun.com/gpu-core.percentage: 30  # Apply for 30% of the computing power of a GPU.
             workingDir: /root
           restartPolicy: Never

2. Jalankan perintah berikut untuk men-deploy Job.

   kubectl apply -f tensorflow-benchmark-exclusive.yaml
   kubectl apply -f tensorflow-benchmark-share-mem.yaml
   kubectl apply -f tensorflow-benchmark-share-mem-core.yaml

3. Jalankan perintah berikut untuk memeriksa status Pod.

   kubectl get pod

   Output yang diharapkan:

   NAME                                        READY   STATUS    RESTARTS   AGE
   tensorflow-benchmark-exclusive-7dff2        1/1     Running   0          3m13s
   tensorflow-benchmark-share-mem-core-k24gz   1/1     Running   0          4m22s
   tensorflow-benchmark-share-mem-shmpj        1/1     Running   0          3m46s

   Output menunjukkan bahwa semua Pod berada dalam status Running, yang berarti Job berhasil dideploy.

Langkah 3: Melihat dasbor pemantauan GPU