Container Service for Kubernetes:Configure and manage the ack-nvidia-device-plugin add-on

Vérifier la version du plug-in de périphérique NVIDIA

kubectl get pods -n kube-system -l component=nvidia-device-plugin \
  -o jsonpath='{range .items[*]}{.spec.containers[0].image}{"\t"}{.spec.nodeName}{"\n"}{end}' \
  | awk -F'[:/]' '{split($NF, a, "-"); print a[1] "\t" $0}' \
  | sort -k1,1V \
  | cut -f2- \
  | awk -F'\t' '{split($1, img, ":"); print img[NF] "\t" $2}'

1. Mettez à niveau le module complémentaire ack-nvidia-device-plugin.

   Version 1.32 et ultérieure

   1. Connectez-vous à la console ACK. Dans le volet de navigation de gauche, cliquez sur Clusters.

   2. Sur la page Clusters, cliquez sur le nom de votre cluster. Dans le volet de navigation de gauche, cliquez sur Add-ons .

   3. Sur la page Modules complémentaires, recherchez la carte ack-nvidia-device-plugin et cliquez sur Upgrade.

   4. Dans la boîte de dialogue qui s'affiche, cliquez sur OK.

   Versions 1.20 à 1.31

   1. Sur la page Clusters, cliquez sur le nom de votre cluster. Dans le volet de navigation de gauche, cliquez sur Nodes > Nodes.

   2. Sélectionnez les nœuds accélérés par GPU que vous souhaitez gérer, cliquez sur Batch Operations en bas de la liste des nœuds, sélectionnez Run Shell Scripts dans la boîte de dialogue Batch Operations, puis cliquez sur OK.

      Important

      Nous vous recommandons de commencer par mettre à niveau le plug-in de périphérique GPU sur un petit nombre de nœuds accélérés par GPU. Après avoir vérifié que le plug-in fonctionne comme prévu, effectuez la mise à niveau sur les nœuds restants.

   3. Vous êtes redirigé vers la console CloudOps Orchestration Service (OOS). Définissez le Execution Mode sur Paused Upon Failure et cliquez sur Suivant : Paramètres.

   4. Sur la page des paramètres, sélectionnez Exécuter un script Shell et collez l'exemple de script suivant.

      Remarque

      • Définissez le paramètre RUN_PKG_VERSION dans le script sur le numéro de version majeure du cluster (par exemple, 1.30). Ne saisissez pas le numéro de version mineure (par exemple, 1.30.1). Sinon, le script générera une erreur.

      • Dans le script, modifiez le paramètre REGION_ID pour qu'il corresponde à l'ID de région du cluster actuel, par exemple cn-beijing.

      #!/bin/bash
      set -xe
      
      # Set the Kubernetes major version.
      RUN_PKG_VERSION=1.30
      # Set the region ID.
      REGION_ID=cn-beijing
      
      function update_device_plugin() {
      	base_dir=/tmp/update_device_plugin
      	rm -rf $base_dir
      	mkdir -p $base_dir
      	cd $base_dir
      	region_id=$REGION_ID
      	PKG_URL=https://aliacs-k8s-${region_id}.oss-${region_id}-internal.aliyuncs.com/public/pkg/run/run-${RUN_PKG_VERSION}.tar.gz
      	curl -sSL --retry 3 --retry-delay 2 -o run.tar.gz $PKG_URL
      	tar -xf run.tar.gz
      
      	local dir=pkg/run/$RUN_PKG_VERSION/module
      	# Replace the image registry address.
      	sed -i "s@registry.cn-hangzhou.aliyuncs.com/acs@registry-${region_id}-vpc.ack.aliyuncs.com/acs@g" $dir/nvidia-device-plugin.yml
      	mkdir -p /etc/kubernetes/device-plugin-backup
      	mkdir -p /etc/kubernetes/manifests
      	# Back up the old configuration file.
      	mv  /etc/kubernetes/manifests/nvidia-device-plugin.yml /etc/kubernetes/device-plugin-backup/nvidia-device-plugin.yml.$(date +%s)
      	sleep 5
      	# Copy the new configuration file.
      	cp -a $dir/nvidia-device-plugin.yml /etc/kubernetes/manifests
      	echo "succeeded to update device plugin"
      }
      
      # Check if the nvidia-device-plugin.yml file exists.
      if [ -f /etc/kubernetes/manifests/nvidia-device-plugin.yml ]; then
      	update_device_plugin
      else
      	echo "skip to update device plugin"
      fi

   5. Cliquez sur Suivant : Confirmer. Après avoir confirmé les informations, cliquez sur Create.

      Une fois la tâche créée, vous êtes automatiquement redirigé vers la page Gestion de l'exécution des tâches, où vous pouvez afficher l'état d'exécution de la tâche. La mise à jour est réussie si la valeur de Output est succeeded to update device plugin.

2. Vérifiez si le module complémentaire fonctionne comme prévu.

   Exécutez les commandes suivantes pour vérifier si le plug-in de périphérique GPU fonctionne correctement sur le nœud accéléré par GPU.

   1. Utilisez kubectl pour vous connecter au cluster via Workbench ou CloudShell.

   2. Exécutez la commande suivante pour vérifier si le plug-in de périphérique NVIDIA a redémarré :

      kubectl get po -n kube-system -l component=nvidia-device-plugin 

      La colonne AGE du résultat d'exemple indique si le pod a redémarré.

      NAME                             READY   STATUS    RESTARTS      AGE
      nvidia-device-plugin-xxxx        1/1     Running   1             1m

   3. Après le redémarrage de tous les pods, exécutez le script suivant pour vérifier si les nœuds signalent les ressources GPU :

      #!/bin/bash
      
      # Get all NVIDIA Device Plugin pods and their corresponding nodes.
      PODS=$(kubectl get po -n kube-system -l component=nvidia-device-plugin -o jsonpath='{range .items[*]}{.metadata.name}{"\t"}{.spec.nodeName}{"\n"}{end}')
      
      # Iterate through each pod's node.
      echo "$PODS" | while IFS=$'\t' read -r pod_name node_name; do
          # Get the allocatable nvidia.com/gpu resource value for the node.
          gpu_allocatable=$(kubectl get node "$node_name" -o jsonpath='{.status.allocatable.nvidia\.com/gpu}' 2>/dev/null)
      
          # Check if the resource value is 0.
          if [ "$gpu_allocatable" == "0" ]; then
              echo "Error: node=$node_name, pod=$pod_name, resource(nvidia.com/gpu) is 0"
          fi
      done

      Si un nœud signale zéro ressource, consultez la section Redémarrer le plug-in de périphérique NVIDIA.

{
  "index": ["x", "x"],
  "uuid": ["xxx", "xxx"]
}

Prérequis

À partir de la version v0.5.0, ack-nvidia-device-plugin prend en charge le montage des périphériques GDR dans les conteneurs GPU. Cette fonctionnalité nécessite les éléments suivants :

• La version du cluster est 1.32 ou ultérieure.

• Le nœud est un nœud Lingjun.

• Le logiciel GDR est installé sur le nœud.

  Vous pouvez vous connecter au nœud et exécuter la commande lsmod | grep gdrdrv pour vérifier si le module noyau GDR est chargé. Voici un exemple de résultat :

  gdrdrv                196608  0
  nvidia              14680064  88 nvidia_uvm,nvidia_peermem,gdrdrv,nvidia_modeset

• NVIDIA Container Toolkit 1.15.0 ou version ultérieure est installé sur le nœud.

  Vous pouvez vérifier la version en vous connectant au nœud et en exécutant nvidia-container-cli --version . Voici un exemple de résultat :

  cli-version: 1.17.8
  lib-version: 1.17.8

Désactiver la fonctionnalité native d'isolation GPU

Contexte

Lorsqu'un GPU sur un nœud tombe en panne, ACK isole automatiquement le GPU défaillant à l'aide du plug-in de périphérique NVIDIA pour empêcher le planificateur de lui assigner des tâches. Cependant, cette isolation automatique n'effectue pas de réparation automatique. Vous devez toujours redémarrer ou réparer manuellement le nœud. Nous vous recommandons de configurer des alertes pour les exceptions GPU afin de les traiter rapidement. Pour plus d'informations sur la fonctionnalité native d'isolation GPU du plug-in de périphérique NVIDIA, consultez la page k8s-device-plugin.

• Après l'isolation, si le nœud ne dispose pas de suffisamment de GPU pour répondre aux exigences d'une tâche (par exemple, une tâche nécessite huit cartes mais seulement sept sont disponibles), le planificateur ne peut pas placer la tâche sur ce nœud, laissant les ressources GPU inutilisées.

• Lorsque l'état du GPU redevient normal, le système supprime automatiquement l'isolation du périphérique.

• Si vous devez désactiver l'isolation automatique afin que le nœud continue de signaler les ressources pour les GPU défaillants, reportez-vous à la solution suivante.

Solution

1. Vérifiez si la fonctionnalité native d'isolation GPU est activée pour le module complémentaire.

   Si elle n'est pas activée, vous n'avez pas besoin d'effectuer les étapes suivantes pour la désactiver.

   Version 1.32 et ultérieure

   Connectez-vous à la console ACK et vérifiez la version de ack-nvidia-device-plugin sur la page Add-ons du cluster cible. Si la version est v0.1.0, la fonctionnalité d'isolation GPU est activée.

   Versions 1.20 à 1.31

   1. Utilisez kubectl pour vous connecter au cluster via Workbench ou CloudShell.

   2. Vérifiez si le plug-in de périphérique NVIDIA a l'isolation GPU activée.

      check_gpu_isolation_enabled() {
          echo "Checking nodes with NVIDIA Device Plugin deployed as static pods that have GPU isolation enabled (i.e., DP_DISABLE_HEALTHCHECKS is not set to 'all')..."
      
          # Get pod names with the expected label.
          pods=$(kubectl get pods -n kube-system -l component=nvidia-device-plugin --no-headers -o custom-columns=":metadata.name" 2>/dev/null)
      
          if [ -z "$pods" ]; then
              echo "No pods found with label 'component=nvidia-device-plugin'."
              return 0
          fi
      
          found=0
          while IFS= read -r pod; do
              [ -z "$pod" ] && continue
      
              # Check if it's a static pod: annotation kubernetes.io/config.source must be "file".
              config_source=$(kubectl get pod "$pod" -n kube-system -o jsonpath='{.metadata.annotations.kubernetes\.io/config\.source}' 2>/dev/null)
      
              if [ "$config_source" != "file" ]; then
                  # Not a static pod (e.g., managed by a DaemonSet), skip.
                  continue
              fi
      
              # Get node name.
              node=$(kubectl get pod "$pod" -n kube-system -o jsonpath='{.spec.nodeName}' 2>/dev/null)
              [ -z "$node" ] && continue
      
              # Check if DP_DISABLE_HEALTHCHECKS is set to "all".
              disabled_value=$(kubectl get pod "$pod" -n kube-system -o jsonpath='{range .spec.containers[*]}{range .env[?(@.name=="DP_DISABLE_HEALTHCHECKS")]}{.value}{"\n"}{end}{end}' 2>/dev/null | head -n1)
      
              # If not set or not equal to "all", health checks are active, which means isolation is enabled.
              if [ -z "$disabled_value" ] || [ "$disabled_value" != "all" ]; then
                  echo "Node: $node, Static Pod: $pod"
                  found=1
              fi
          done <<< "$pods"
      
          if [ "$found" -eq 0 ]; then
              echo "No static pods found with GPU isolation enabled."
          else
              echo "Note: The above nodes will automatically isolate faulty GPUs via the NVIDIA Device Plugin."
          fi
      }
      
      check_gpu_isolation_enabled

      Résultat attendu :

      Checking nodes with NVIDIA Device Plugin deployed as static pods that have GPU isolation enabled (i.e., DP_DISABLE_HEALTHCHECKS is not set to 'all')...
      Node: cn-beijing.192.168.XXX.XXX, Static Pod: nvidia-device-plugin-cn-beijing.192.168.XXX.XXX
      Note: The above nodes will automatically isolate faulty GPUs via NVIDIA Device Plugin.

      Si le résultat contient Note: The above nodes will automatically isolate faulty GPUs via NVIDIA Device Plugin., la fonctionnalité d'isolation GPU est activée.

2. Désactivez la fonctionnalité d'isolation GPU en mettant à niveau le module complémentaire.

   La fonctionnalité native d'isolation GPU est désactivée par défaut dans la dernière version du module complémentaire NVIDIA Device Plugin. Mettez à niveau le plug-in de périphérique NVIDIA vers la dernière version pour appliquer cette modification.