Container Service for Kubernetes:Configure and manage the ack-nvidia-device-plugin add-on

Verificar a versão do NVIDIA device plugin

kubectl get pods -n kube-system -l component=nvidia-device-plugin \
  -o jsonpath='{range .items[*]}{.spec.containers[0].image}{"\t"}{.spec.nodeName}{"\n"}{end}' \
  | awk -F'[:/]' '{split($NF, a, "-"); print a[1] "\t" $0}' \
  | sort -k1,1V \
  | cut -f2- \
  | awk -F'\t' '{split($1, img, ":"); print img[NF] "\t" $2}'

1. Atualize o add-on ack-nvidia-device-plugin.

   Version 1.32 and later

   1. Acesse o ACK console. No painel de navegação à esquerda, clique em Clusters.

   2. Na página Clusters, clique no nome do seu cluster. No painel de navegação à esquerda, clique em Add-ons.

   3. Na página Add-ons, localize o card ack-nvidia-device-plugin e clique em Upgrade.

   4. Na caixa de diálogo exibida, clique em OK.

   Versions 1.20 to 1.31

   1. Na página Clusters, clique no nome do seu cluster. No painel de navegação à esquerda, clique em Nodes > Nodes.

   2. Selecione os nós com aceleração GPU que deseja gerenciar, clique em Batch Operations na parte inferior da lista de nós, selecione Run Shell Scripts na caixa de diálogo Batch Operations e clique em OK.

      Importante

      Recomendamos que você primeiro atualize o GPU device plugin em um número reduzido de nós com aceleração GPU. Após verificar que o plugin funciona conforme o esperado, realize a atualização nos nós restantes.

   3. Você será redirecionado para o console do CloudOps Orchestration Service (OOS). Defina Execution Mode como Paused Upon Failure e clique em Next: Parameter Settings.

   4. Na página de configurações de parâmetros, selecione Run Shell Script e cole o script de exemplo a seguir.

      Nota

      • Defina o parâmetro RUN_PKG_VERSION no script com o número de versão principal do cluster (por exemplo, 1.30). Não insira o número de versão secundário (por exemplo, 1.30.1), pois o script retornará um erro.

      • No script, altere o parâmetro REGION_ID para o ID de região do cluster atual, por exemplo, cn-beijing.

      #!/bin/bash
      set -xe
      
      # Set the Kubernetes major version.
      RUN_PKG_VERSION=1.30
      # Set the region ID.
      REGION_ID=cn-beijing
      
      function update_device_plugin() {
      	base_dir=/tmp/update_device_plugin
      	rm -rf $base_dir
      	mkdir -p $base_dir
      	cd $base_dir
      	region_id=$REGION_ID
      	PKG_URL=https://aliacs-k8s-${region_id}.oss-${region_id}-internal.aliyuncs.com/public/pkg/run/run-${RUN_PKG_VERSION}.tar.gz
      	curl -sSL --retry 3 --retry-delay 2 -o run.tar.gz $PKG_URL
      	tar -xf run.tar.gz
      
      	local dir=pkg/run/$RUN_PKG_VERSION/module
      	# Replace the image registry address.
      	sed -i "s@registry.cn-hangzhou.aliyuncs.com/acs@registry-${region_id}-vpc.ack.aliyuncs.com/acs@g" $dir/nvidia-device-plugin.yml
      	mkdir -p /etc/kubernetes/device-plugin-backup
      	mkdir -p /etc/kubernetes/manifests
      	# Back up the old configuration file.
      	mv  /etc/kubernetes/manifests/nvidia-device-plugin.yml /etc/kubernetes/device-plugin-backup/nvidia-device-plugin.yml.$(date +%s)
      	sleep 5
      	# Copy the new configuration file.
      	cp -a $dir/nvidia-device-plugin.yml /etc/kubernetes/manifests
      	echo "succeeded to update device plugin"
      }
      
      # Check if the nvidia-device-plugin.yml file exists.
      if [ -f /etc/kubernetes/manifests/nvidia-device-plugin.yml ]; then
      	update_device_plugin
      else
      	echo "skip to update device plugin"
      fi

   5. Clique em Next: Confirm. Após confirmar as informações, clique em Create.

      Após a criação da tarefa, você será redirecionado automaticamente para a página Task Execution Management, onde poderá visualizar o status de execução da tarefa. A atualização foi bem-sucedida se o campo Output exibir succeeded to update device plugin.

2. Verifique se o add-on funciona conforme o esperado.

   Execute os comandos a seguir para verificar se o GPU device plugin está funcionando corretamente no nó com aceleração GPU.

   1. Use kubectl to connect to the cluster in Workbench or CloudShell.

   2. Execute o comando a seguir para verificar se o NVIDIA Device Plugin foi reiniciado:

      kubectl get po -n kube-system -l component=nvidia-device-plugin 

      A coluna AGE na saída de exemplo indica se o pod foi reiniciado.

      NAME                             READY   STATUS    RESTARTS      AGE
      nvidia-device-plugin-xxxx        1/1     Running   1             1m

   3. Após todos os pods reiniciarem, execute o script a seguir para verificar se os nós estão reportando recursos de GPU:

      #!/bin/bash
      
      # Get all NVIDIA Device Plugin pods and their corresponding nodes.
      PODS=$(kubectl get po -n kube-system -l component=nvidia-device-plugin -o jsonpath='{range .items[*]}{.metadata.name}{"\t"}{.spec.nodeName}{"\n"}{end}')
      
      # Iterate through each pod's node.
      echo "$PODS" | while IFS=$'\t' read -r pod_name node_name; do
          # Get the allocatable nvidia.com/gpu resource value for the node.
          gpu_allocatable=$(kubectl get node "$node_name" -o jsonpath='{.status.allocatable.nvidia\.com/gpu}' 2>/dev/null)
      
          # Check if the resource value is 0.
          if [ "$gpu_allocatable" == "0" ]; then
              echo "Error: node=$node_name, pod=$pod_name, resource(nvidia.com/gpu) is 0"
          fi
      done

      Se um nó reportar zero recursos, consulte Restart the NVIDIA Device Plugin.

Requisitos

A partir da v0.5.0, o ack-nvidia-device-plugin suporta a montagem de dispositivos GDR em contêineres GPU. Este recurso exige o seguinte:

• A versão do cluster é 1.32 ou posterior.

• O nó é um nó Lingjun.

• O software GDR está instalado no nó.

  Faça login no nó e execute o comando lsmod | grep gdrdrv para verificar se o módulo de kernel GDR está carregado. O exemplo de saída é o seguinte:

  gdrdrv                196608  0
  nvidia              14680064  88 nvidia_uvm,nvidia_peermem,gdrdrv,nvidia_modeset

• O NVIDIA Container Toolkit 1.15.0 ou posterior está instalado no nó.

  Verifique a versão fazendo login no nó e executando nvidia-container-cli --version . Veja a seguir um exemplo de saída:

  cli-version: 1.17.8
  lib-version: 1.17.8

Desativar o recurso nativo de isolamento de GPU

Contexto

Quando uma GPU em um nó apresenta falha, o ACK isola automaticamente a GPU defeituosa usando o NVIDIA Device Plugin para impedir que o scheduler atribua tarefas a ela. No entanto, esse isolamento automático não realiza um reparo automático. Ainda é necessário reiniciar ou reparar o nó manualmente. Recomendamos que você configure alertas para exceções de GPU a fim de tratá-las prontamente. Para mais informações sobre o recurso nativo de isolamento de GPU do NVIDIA Device Plugin, consulte k8s-device-plugin.

• Após o isolamento, se o nó tiver GPUs insuficientes para os requisitos de uma tarefa (por exemplo, uma tarefa precisa de oito cards, mas apenas sete estão disponíveis), o scheduler não consegue alocar a tarefa naquele nó, deixando recursos de GPU ociosos.

• Quando o status da GPU volta ao normal, o sistema remove automaticamente o isolamento do dispositivo.

• Caso seja necessário desativar o isolamento automático para que o nó continue reportando recursos de GPUs defeituosas, consulte a solução a seguir.

Solução

1. Confirme se o recurso nativo de isolamento de GPU está ativado no add-on.

   Se não estiver ativado, as etapas subsequentes de desativação não são necessárias.

   Version 1.32 and later

   Acesse o ACK console e verifique a versão do ack-nvidia-device-plugin na página Add-ons do cluster de destino. Se a versão for v0.1.0, o recurso de isolamento de GPU está ativado.

   Versions 1.20 to 1.31

   1. Use kubectl to connect to the cluster in Workbench or CloudShell.

   2. Verifique se o NVIDIA Device Plugin tem o isolamento de GPU ativado.

      check_gpu_isolation_enabled() {
          echo "Checking nodes with NVIDIA Device Plugin deployed as static pods that have GPU isolation enabled (i.e., DP_DISABLE_HEALTHCHECKS is not set to 'all')..."
      
          # Get pod names with the expected label.
          pods=$(kubectl get pods -n kube-system -l component=nvidia-device-plugin --no-headers -o custom-columns=":metadata.name" 2>/dev/null)
      
          if [ -z "$pods" ]; then
              echo "No pods found with label 'component=nvidia-device-plugin'."
              return 0
          fi
      
          found=0
          while IFS= read -r pod; do
              [ -z "$pod" ] && continue
      
              # Check if it's a static pod: annotation kubernetes.io/config.source must be "file".
              config_source=$(kubectl get pod "$pod" -n kube-system -o jsonpath='{.metadata.annotations.kubernetes\.io/config\.source}' 2>/dev/null)
      
              if [ "$config_source" != "file" ]; then
                  # Not a static pod (e.g., managed by a DaemonSet), skip.
                  continue
              fi
      
              # Get node name.
              node=$(kubectl get pod "$pod" -n kube-system -o jsonpath='{.spec.nodeName}' 2>/dev/null)
              [ -z "$node" ] && continue
      
              # Check if DP_DISABLE_HEALTHCHECKS is set to "all".
              disabled_value=$(kubectl get pod "$pod" -n kube-system -o jsonpath='{range .spec.containers[*]}{range .env[?(@.name=="DP_DISABLE_HEALTHCHECKS")]}{.value}{"\n"}{end}{end}' 2>/dev/null | head -n1)
      
              # If not set or not equal to "all", health checks are active, which means isolation is enabled.
              if [ -z "$disabled_value" ] || [ "$disabled_value" != "all" ]; then
                  echo "Node: $node, Static Pod: $pod"
                  found=1
              fi
          done <<< "$pods"
      
          if [ "$found" -eq 0 ]; then
              echo "No static pods found with GPU isolation enabled."
          else
              echo "Note: The above nodes will automatically isolate faulty GPUs via the NVIDIA Device Plugin."
          fi
      }
      
      check_gpu_isolation_enabled

      Saída esperada:

      Checking nodes with NVIDIA Device Plugin deployed as static pods that have GPU isolation enabled (i.e., DP_DISABLE_HEALTHCHECKS is not set to 'all')...
      Node: cn-beijing.192.168.XXX.XXX, Static Pod: nvidia-device-plugin-cn-beijing.192.168.XXX.XXX
      Note: The above nodes will automatically isolate faulty GPUs via NVIDIA Device Plugin.

      Se a saída contiver Note: The above nodes will automatically isolate faulty GPUs via NVIDIA Device Plugin., o recurso de isolamento de GPU está ativado.

2. Desative o recurso de isolamento de GPU atualizando o add-on.

   O recurso nativo de isolamento de GPU é desativado por padrão na versão mais recente do add-on NVIDIA Device Plugin. Upgrade the NVIDIA Device Plugin para a versão mais recente e aplicar essa alteração.