Container Service for Kubernetes：Mengaktifkan pemantauan GPU untuk kluster

1. Aktifkan pemantauan Prometheus

Untuk informasi lebih lanjut tentang cara mengaktifkan pemantauan Prometheus, lihat Aktifkan pemantauan Prometheus untuk ACK.

Jika Anda menggunakan layanan Prometheus open-source yang dikelola sendiri dan memerlukan kemampuan pemantauan GPU, Anda harus menginstal komponen ack-gpu-exporter.

2. Deploy aplikasi contoh

1. Buat file bernama tensorflow-benchmark.yaml dengan konten berikut.

   apiVersion: batch/v1
   kind: Job
   metadata:
     name: tensorflow-benchmark
   spec:
     parallelism: 1
     template:
       metadata:
         labels:
           app: tensorflow-benchmark
       spec:
         containers:
         - name: tensorflow-benchmark
           image: registry.cn-beijing.aliyuncs.com/ai-samples/gpushare-sample:benchmark-tensorflow-2.2.3
           command:
           - bash
           - run.sh
           - --num_batches=50000
           - --batch_size=8
           resources:
             limits:
               nvidia.com/gpu: 1 # Request one GPU.
           workingDir: /root
         restartPolicy: Never

2. Jalankan perintah berikut untuk mendeploy aplikasi tensorflow-benchmark pada node GPU.

   kubectl apply -f tensorflow-benchmark.yaml

3. Jalankan perintah berikut untuk memeriksa status pod.

   kubectl get pod

   Output yang diharapkan:

   NAME                         READY   STATUS    RESTARTS   AGE
   tensorflow-benchmark-k***    1/1     Running   0          114s

Kebocoran memori DCGM

• Latar Belakang: DCGM adalah alat yang disediakan oleh NVIDIA untuk mengelola dan memantau GPU. ack-prometheus-gpu-exporter adalah pod DaemonSet yang dimulai setelah Anda menginstal komponen Managed Service for Prometheus.

• Penyebab: Kebocoran memori DCGM terjadi ketika memori yang digunakan oleh DCGM tidak dilepaskan dengan benar selama waktu proses, sehingga menyebabkan penggunaan memori terus meningkat.

• Solusi: DCGM mungkin mengalami kebocoran memori. Untuk mengatasi masalah ini, pengaturan resources.limits dikonfigurasi untuk pod tempat ack-prometheus-gpu-exporter berjalan. Ketika penggunaan memori mencapai batas, ack-prometheus-gpu-exporter akan dimulai ulang, yang biasanya terjadi sekitar sekali sebulan. Setelah dimulai ulang, pod tersebut melaporkan metrik secara normal. Namun, selama beberapa menit setelah dimulai ulang, Grafana mungkin menampilkan beberapa metrik secara tidak normal, seperti lonjakan jumlah node. Tampilan akan kembali normal setelahnya. Untuk informasi lebih lanjut tentang masalah ini, lihat Apakah DCGM mengalami kebocoran memori?.

ack-prometheus-gpu-exporter mengalami OOM kill

• Latar Belakang: ack-prometheus-gpu-exporter adalah pod DaemonSet yang dimulai setelah Anda menginstal komponen Managed Service for Prometheus. Pod ini mungkin menyebabkan masalah saat Anda mengaktifkan pemantauan.

• Penyebab: ack-prometheus-gpu-exporter pada kluster ACK menggunakan DCGM dalam mode embedded. Dalam mode ini, DCGM mengonsumsi banyak memori pada node multi-GPU dan rentan terhadap kebocoran memori. Oleh karena itu, jika Anda menjalankan beberapa proses GPU pada instans dengan beberapa GPU dan mengalokasikan memori dalam jumlah kecil ke ack-prometheus-gpu-exporter, pod exporter tersebut mungkin dihentikan oleh event kehabisan memori (OOM).

• Solusi: Dalam kasus ini, pod biasanya melanjutkan pelaporan metrik setelah dimulai ulang. Jika OOM kill terjadi secara sering, Anda dapat secara manual menambah batas memori limits untuk DaemonSet ack-prometheus-gpu-exporter di namespace arms-prom untuk mengatasi masalah tersebut.

ack-prometheus-gpu-exporter melaporkan error

• Latar Belakang: ack-prometheus-gpu-exporter adalah pod DaemonSet yang dimulai setelah Anda menginstal komponen Managed Service for Prometheus. Error dari pod ini dapat menyebabkan masalah pemantauan.

• Penyebab: Masalah ini terjadi jika log pod ack-prometheus-gpu-exporter berisi pesan error yang mirip dengan berikut:

  failed to get all process informations of gpu nvidia1,reason: failed to get gpu utilizations for all processes on device 1,reason: Not Found

  Error ini terjadi karena versi lama ack-prometheus-gpu-exporter tidak dapat mengambil metrik GPU untuk kontainer terkait ketika tidak ada tugas tertentu yang berjalan pada kartu GPU tertentu.

• Solusi: Masalah ini telah diperbaiki pada versi terbaru. Untuk mengatasi masalah ini, tingkatkan komponen ack-arms-prometheus ke versi terbaru.