Container Service for Kubernetes:Enable GPU monitoring for a cluster

Paso 1: Habilitar el monitoreo de Prometheus

Paso 2: Comprobar los componentes de monitoreo de GPU

Después de habilitar el monitoreo de Prometheus, compruebe que los pods del exportador de GPU se estén ejecutando:

kubectl get pods -n arms-prom -l k8s-app=ack-prometheus-gpu-exporter

Cada nodo GPU del clúster debe tener un pod ack-prometheus-gpu-exporter en ejecución. Este DaemonSet recopila las métricas de DCGM de sus nodos GPU.

Paso 3: Desplegar una aplicación de ejemplo

Para generar métricas de GPU, despliegue una carga de trabajo de ejemplo en un nodo GPU.

1. Cree un archivo llamado tensorflow-benchmark.yaml con el siguiente contenido:

   apiVersion: batch/v1
   kind: Job
   metadata:
     name: tensorflow-benchmark
   spec:
     parallelism: 1
     template:
       metadata:
         labels:
           app: tensorflow-benchmark
       spec:
         containers:
         - name: tensorflow-benchmark
           image: registry.cn-beijing.aliyuncs.com/ai-samples/gpushare-sample:benchmark-tensorflow-2.2.3
           command:
           - bash
           - run.sh
           - --num_batches=50000
           - --batch_size=8
           resources:
             limits:
               nvidia.com/gpu: 1 # Request one GPU.
           workingDir: /root
         restartPolicy: Never

2. Despliegue la aplicación:

   kubectl apply -f tensorflow-benchmark.yaml

3. Compruebe el estado del pod:

   kubectl get pod

   Salida esperada:

   NAME                         READY   STATUS    RESTARTS   AGE
   tensorflow-benchmark-k***    1/1     Running   0          114s

Pérdida de memoria de DCGM

El DaemonSet ack-prometheus-gpu-exporter se inicia automáticamente cuando instala Managed Service for Prometheus. En ocasiones, DCGM no libera correctamente la memoria durante la ejecución, lo que provoca que el uso de memoria aumente con el tiempo.

Se ha configurado un ajuste resources.limits en el pod del exportador para mitigar esto. Cuando se alcanza el límite de memoria, el pod se reinicia automáticamente. Esto suele ocurrir aproximadamente una vez al mes. Tras el reinicio, las métricas se reportan con normalidad. Grafana puede mostrar anomalías durante unos minutos (por ejemplo, un aumento repentino en el recuento de nodos), pero la visualización se corrige por sí sola.

Para más información, consulte The DCGM has a memory leak? en GitHub.

ack-prometheus-gpu-exporter finaliza por un evento de falta de memoria

El componente ack-prometheus-gpu-exporter utiliza DCGM en modo integrado, lo cual consume una gran cantidad de memoria en nodos con múltiples GPU y es propenso a pérdidas de memoria. Si ejecuta varios procesos de GPU en una instancia con múltiples GPU y asigna muy poca memoria al exportador, el pod puede finalizar debido a un evento de falta de memoria (OOM).

Por lo general, el pod reanuda el reporte de métricas después de reiniciarse. Si las finalizaciones por falta de memoria ocurren con frecuencia, aumente los limits de memoria para el DaemonSet ack-prometheus-gpu-exporter en el namespace arms-prom.

ack-prometheus-gpu-exporter reporta un error

Si los registros del pod contienen un error similar al siguiente:

failed to get all process informations of gpu nvidia1,reason: failed to get gpu utilizations for all processes on device 1,reason: Not Found

Este error ocurre porque las versiones anteriores de ack-prometheus-gpu-exporter no pueden recuperar métricas de GPU cuando no hay tareas ejecutándose en ciertas tarjetas GPU.

Actualice el componente ack-arms-prometheus a la última versión para resolver este problema.