Container Service for Kubernetes:Enable GPU monitoring for a cluster

Etapa 1: Ativar o monitoramento do Prometheus

Etapa 2: Verificar os componentes de monitoramento de GPU

Depois de ativar o monitoramento do Prometheus, verifique se os pods do exportador de GPU estão em execução:

kubectl get pods -n arms-prom -l k8s-app=ack-prometheus-gpu-exporter

Cada nó de GPU no cluster deve ter um pod ack-prometheus-gpu-exporter em execução. Esse DaemonSet coleta métricas do DCGM dos seus nós de GPU.

Etapa 3: Implantar uma aplicação de exemplo

Para gerar métricas de GPU, implante uma carga de trabalho de exemplo em um nó de GPU.

1. Crie um arquivo chamado tensorflow-benchmark.yaml com o seguinte conteúdo:

   apiVersion: batch/v1
   kind: Job
   metadata:
     name: tensorflow-benchmark
   spec:
     parallelism: 1
     template:
       metadata:
         labels:
           app: tensorflow-benchmark
       spec:
         containers:
         - name: tensorflow-benchmark
           image: registry.cn-beijing.aliyuncs.com/ai-samples/gpushare-sample:benchmark-tensorflow-2.2.3
           command:
           - bash
           - run.sh
           - --num_batches=50000
           - --batch_size=8
           resources:
             limits:
               nvidia.com/gpu: 1 # Request one GPU.
           workingDir: /root
         restartPolicy: Never

2. Implante a aplicação:

   kubectl apply -f tensorflow-benchmark.yaml

3. Verifique o status do pod:

   kubectl get pod

   Saída esperada:

   NAME                         READY   STATUS    RESTARTS   AGE
   tensorflow-benchmark-k***    1/1     Running   0          114s

Vazamento de memória do DCGM

O DaemonSet ack-prometheus-gpu-exporter inicia automaticamente quando você instala o Managed Service for Prometheus. Ocasionalmente, o DCGM não libera a memória corretamente durante a execução, o que faz com que o uso de memória aumente ao longo do tempo.

Uma configuração resources.limits está definida no pod do exportador para mitigar esse problema. Quando o limite de memória é atingido, o pod reinicia automaticamente. Isso geralmente ocorre cerca de uma vez por mês. Após a reinicialização, as métricas voltam a ser relatadas normalmente. O Grafana pode apresentar anomalias por alguns minutos (como um pico repentino na contagem de nós), mas a exibição se corrige sozinha.

Para mais informações, consulte The DCGM has a memory leak? no GitHub.

O ack-prometheus-gpu-exporter é encerrado por falta de memória

O ack-prometheus-gpu-exporter usa o DCGM no modo incorporado, o que consome uma grande quantidade de memória em nós com múltiplas GPUs e é propenso a vazamentos de memória. Se você executar vários processos de GPU em uma instância com múltiplas GPUs e alocar pouca memória para o exportador, o pod poderá ser encerrado por um evento de falta de memória (OOM).

Normalmente, o pod volta a relatar métricas após a reinicialização. Se os encerramentos por falta de memória forem frequentes, aumente os limits de memória do DaemonSet ack-prometheus-gpu-exporter no namespace arms-prom.

O ack-prometheus-gpu-exporter relata um erro

Se os logs do pod contiverem um erro semelhante ao seguinte:

failed to get all process informations of gpu nvidia1,reason: failed to get gpu utilizations for all processes on device 1,reason: Not Found

Esse erro ocorre porque versões mais antigas do ack-prometheus-gpu-exporter não conseguem recuperar métricas de GPU quando não há tarefas em execução em determinadas placas de GPU.

Atualize o componente ack-arms-prometheus para a versão mais recente para resolver esse problema.