Container Service for Kubernetes:Melhores práticas para monitorar recursos de GPU do cluster

Pré-requisitos

• Um ACK managed cluster criado.

• O GPU monitoring ativado para o cluster.

• O GPU sharing component instalado.

Contexto

O monitoramento de GPU oferece painéis nos níveis de cluster, nó e Pod para nós com GPU. Consulte Dashboard description.

• O painel no nível de cluster exibe métricas globais ou por pool de nós, como utilização, uso de memória da GPU e erros XID.

• O painel no nível de nó apresenta detalhes específicos de cada nó, incluindo utilização e consumo de memória da GPU.

• O painel no nível de Pod mostra os recursos de GPU solicitados e a utilização individual de cada Pod.

As seções a seguir demonstram os resultados de monitoramento para três modos de solicitação de GPU.

Observações de uso

• A coleta de métricas de GPU ocorre a cada 15 segundos, o que pode causar atrasos nos dados do painel do Grafana. O painel pode indicar ausência de memória de GPU disponível em um nó mesmo quando um Pod ainda está agendado nele. Isso acontece quando um Pod libera recursos de GPU entre as coletas e o agendador aloca um Pod pendente antes da próxima varredura.

• O painel de monitoramento rastreia apenas os recursos de GPU solicitados por meio do campo resources.limits na especificação do Pod. Consulte Gerenciar recursos para contêineres.

  Os dados do painel podem ser imprecisos se você utilizar recursos de GPU das seguintes maneiras:

  • Executar aplicações com GPU diretamente no nó.

  • Iniciar um contêiner via docker run para executar uma aplicação com GPU.

  • Definir a variável NVIDIA_VISIBLE_DEVICES na seção env do Pod para solicitar recursos, como em NVIDIA_VISIBLE_DEVICES=all ou NVIDIA_VISIBLE_DEVICES=<GPU ID>.

  • Executar programas com GPU em Pods configurados com privileged: true no securityContext.

  • Executar programas com GPU em Pods sem a definição de NVIDIA_VISIBLE_DEVICES, onde a imagem do contêiner adota o padrão NVIDIA_VISIBLE_DEVICES=all.

• A memória de GPU alocada difere da memória efetivamente utilizada. Por exemplo, se uma placa possui 16 GiB no total e você aloca 5 GiB para um Pod que executa sleep 1000, ele permanece no estado Running sem usar a GPU. Nesse caso, a memória alocada é de 5 GiB, mas a memória utilizada é 0 GiB.

Etapa 1: Criar pools de nós

O painel de monitoramento de GPU exibe métricas para Pods que solicitam recursos por placa inteira, memória da GPU ou poder de computação.

Crie três pools de nós para demonstrar o agendamento de Pods e o uso de recursos em cada modo de solicitação de GPU. Para obter instruções, consulte Create a node pool. Configure os pools de nós conforme descrito abaixo:

Etapa 2: Implantar aplicações com GPU

Após criar os pools de nós, execute jobs de teste com GPU para verificar se a coleta de métricas funciona corretamente. Consulte Enable scheduling para detalhes sobre rótulos e agendamento. Os três jobs são:

1. Crie os arquivos de manifesto dos Jobs.

   • Crie um arquivo chamado tensorflow-benchmark-exclusive.yaml.

     apiVersion: batch/v1
     kind: Job
     metadata:
       name: tensorflow-benchmark-exclusive
     spec:
       parallelism: 1
       template:
         metadata:
           labels:
             app: tensorflow-benchmark-exclusive
         spec:
           containers:
           - name: tensorflow-benchmark
             image: registry.cn-beijing.aliyuncs.com/ai-samples/gpushare-sample:benchmark-tensorflow-2.2.3
             command:
             - bash
             - run.sh
             - --num_batches=5000000
             - --batch_size=8
             resources:
               limits:
                 nvidia.com/gpu: 1 # Requests one GPU card.
             workingDir: /root
           restartPolicy: Never

   • Crie um arquivo chamado tensorflow-benchmark-share-mem.yaml.

     apiVersion: batch/v1
     kind: Job
     metadata:
       name: tensorflow-benchmark-share-mem
     spec:
       parallelism: 1
       template:
         metadata:
           labels:
             app: tensorflow-benchmark-share-mem
         spec:
           containers:
           - name: tensorflow-benchmark
             image: registry.cn-beijing.aliyuncs.com/ai-samples/gpushare-sample:benchmark-tensorflow-2.2.3
             command:
             - bash
             - run.sh
             - --num_batches=5000000
             - --batch_size=8
             resources:
               limits:
                 aliyun.com/gpu-mem: 10 # Requests 10 GiB of GPU memory.
             workingDir: /root
           restartPolicy: Never

   • Crie um arquivo chamado tensorflow-benchmark-share-mem-core.yaml.

     apiVersion: batch/v1
     kind: Job
     metadata:
       name: tensorflow-benchmark-share-mem-core
     spec:
       parallelism: 1
       template:
         metadata:
           labels:
             app: tensorflow-benchmark-share-mem-core
         spec:
           containers:
           - name: tensorflow-benchmark
             image: registry.cn-beijing.aliyuncs.com/ai-samples/gpushare-sample:benchmark-tensorflow-2.2.3
             command:
             - bash
             - run.sh
             - --num_batches=5000000
             - --batch_size=8
             resources:
               limits:
                 aliyun.com/gpu-mem: 10 # Requests 10 GiB of GPU memory.
                 aliyun.com/gpu-core.percentage: 30  # Requests 30% of the computing power of one card.
             workingDir: /root
           restartPolicy: Never

2. Implante os Jobs:

   kubectl apply -f tensorflow-benchmark-exclusive.yaml
   kubectl apply -f tensorflow-benchmark-share-mem.yaml
   kubectl apply -f tensorflow-benchmark-share-mem-core.yaml

3. Verifique o status dos Pods:

   kubectl get pod

   Saída esperada:

   NAME                                        READY   STATUS    RESTARTS   AGE
   tensorflow-benchmark-exclusive-7dff2        1/1     Running   0          3m13s
   tensorflow-benchmark-share-mem-core-k24gz   1/1     Running   0          4m22s
   tensorflow-benchmark-share-mem-shmpj        1/1     Running   0          3m46s

   Todos os Pods estão no estado Running, confirmando que a implantação foi bem-sucedida.

Etapa 3: Visualizar o painel de GPU