Container Service for Kubernetes:Configurer et gérer le module complémentaire ack-nvidia-device-plugin

Vérifier la version du plug-in de périphérique NVIDIA

kubectl get pods -n kube-system -l component=nvidia-device-plugin \
  -o jsonpath='{range .items[*]}{.spec.containers[0].image}{"\t"}{.spec.nodeName}{"\n"}{end}' \
  | awk -F'[:/]' '{split($NF, a, "-"); print a[1] "\t" $0}' \
  | sort -k1,1V \
  | cut -f2- \
  | awk -F'\t' '{split($1, img, ":"); print img[NF] "\t" $2}'

1. Mettez à niveau le module complémentaire ack-nvidia-device-plugin.

   Version 1.32 et ultérieure

   1. Connectez-vous à la console ACK. Dans le volet de navigation de gauche, cliquez sur Clusters.

   2. Sur la page Clusters, cliquez sur le nom de votre cluster. Dans le volet de navigation de gauche, cliquez sur Add-ons .

   3. Sur la page Add-ons, recherchez la carte ack-nvidia-device-plugin et cliquez sur Upgrade.

   4. Dans la boîte de dialogue qui s'affiche, cliquez sur OK.

   Versions 1.20 à 1.31

   1. Sur la page Clusters, cliquez sur le nom de votre cluster. Dans le volet de navigation de gauche, cliquez sur Nodes > Nodes.

   2. Sélectionnez les nœuds accélérés par GPU que vous souhaitez gérer, cliquez sur Batch Operations en bas de la liste des nœuds, sélectionnez Run Shell Scripts dans la boîte de dialogue Batch Operations, puis cliquez sur OK.

      Important

      Nous vous recommandons de commencer par mettre à niveau le plug-in de périphérique GPU sur un petit nombre de nœuds accélérés par GPU. Après avoir vérifié que le plug-in fonctionne comme prévu, effectuez la mise à niveau sur les nœuds restants.

   3. Vous êtes redirigé vers la console CloudOps Orchestration Service (OOS). Définissez Execution Mode sur Paused Upon Failure et cliquez sur Next: Parameter Settings.

   4. Sur la page des paramètres, sélectionnez Run Shell Script et collez l'exemple de script suivant.

      Remarque

      • Définissez le paramètre RUN_PKG_VERSION dans le script sur le numéro de version majeure du cluster (par exemple, 1.30). N'entrez pas le numéro de version mineure (par exemple, 1.30.1). Sinon, le script renverra une erreur.

      • Dans le script, modifiez le paramètre REGION_ID pour qu'il corresponde à l'ID de région du cluster actuel, par exemple cn-beijing.

      #!/bin/bash
      set -xe
      
      # Set the Kubernetes major version.
      RUN_PKG_VERSION=1.30
      # Set the region ID.
      REGION_ID=cn-beijing
      
      function update_device_plugin() {
      	base_dir=/tmp/update_device_plugin
      	rm -rf $base_dir
      	mkdir -p $base_dir
      	cd $base_dir
      	region_id=$REGION_ID
      	PKG_URL=https://aliacs-k8s-${region_id}.oss-${region_id}-internal.aliyuncs.com/public/pkg/run/run-${RUN_PKG_VERSION}.tar.gz
      	curl -sSL --retry 3 --retry-delay 2 -o run.tar.gz $PKG_URL
      	tar -xf run.tar.gz
      
      	local dir=pkg/run/$RUN_PKG_VERSION/module
      	# Replace the image registry address.
      	sed -i "s@registry.cn-hangzhou.aliyuncs.com/acs@registry-${region_id}-vpc.ack.aliyuncs.com/acs@g" $dir/nvidia-device-plugin.yml
      	mkdir -p /etc/kubernetes/device-plugin-backup
      	mkdir -p /etc/kubernetes/manifests
      	# Back up the old configuration file.
      	mv  /etc/kubernetes/manifests/nvidia-device-plugin.yml /etc/kubernetes/device-plugin-backup/nvidia-device-plugin.yml.$(date +%s)
      	sleep 5
      	# Copy the new configuration file.
      	cp -a $dir/nvidia-device-plugin.yml /etc/kubernetes/manifests
      	echo "succeeded to update device plugin"
      }
      
      # Check if the nvidia-device-plugin.yml file exists.
      if [ -f /etc/kubernetes/manifests/nvidia-device-plugin.yml ]; then
      	update_device_plugin
      else
      	echo "skip to update device plugin"
      fi

   5. Cliquez sur Next: Confirm. Après avoir confirmé les informations, cliquez sur Create.

      Une fois la tâche créée, vous êtes automatiquement redirigé vers la page Task Execution Management, où vous pouvez afficher l'état d'exécution de la tâche. La mise à jour est réussie si la valeur Output est succeeded to update device plugin.

2. Vérifiez si le module complémentaire s'exécute comme prévu.

   Exécutez les commandes suivantes pour vérifier si le plug-in de périphérique GPU fonctionne correctement sur le nœud accéléré par GPU.

   1. Utilisez kubectl pour vous connecter au cluster dans Workbench ou CloudShell.

   2. Exécutez la commande suivante pour vérifier si le plug-in de périphérique NVIDIA a redémarré :

      kubectl get po -n kube-system -l component=nvidia-device-plugin 

      La colonne AGE dans la sortie d'exemple indique si le pod a redémarré.

      NAME                             READY   STATUS    RESTARTS      AGE
      nvidia-device-plugin-xxxx        1/1     Running   1             1m

   3. Après le redémarrage de tous les pods, exécutez le script suivant pour vérifier si les nœuds signalent les ressources GPU :

      #!/bin/bash
      
      # Get all NVIDIA Device Plugin pods and their corresponding nodes.
      PODS=$(kubectl get po -n kube-system -l component=nvidia-device-plugin -o jsonpath='{range .items[*]}{.metadata.name}{"\t"}{.spec.nodeName}{"\n"}{end}')
      
      # Iterate through each pod's node.
      echo "$PODS" | while IFS=$'\t' read -r pod_name node_name; do
          # Get the allocatable nvidia.com/gpu resource value for the node.
          gpu_allocatable=$(kubectl get node "$node_name" -o jsonpath='{.status.allocatable.nvidia\.com/gpu}' 2>/dev/null)
      
          # Check if the resource value is 0.
          if [ "$gpu_allocatable" == "0" ]; then
              echo "Error: node=$node_name, pod=$pod_name, resource(nvidia.com/gpu) is 0"
          fi
      done

      Si un nœud signale zéro ressource, consultez Redémarrer le plug-in de périphérique NVIDIA.

Portée

La version du composant ACK NVIDIA Device Plugin doit être 0.7.0 ou ultérieure et la version du composant ACK Node Problem Detector doit être 1.2.35 ou ultérieure.

Procédure

1. Connectez-vous à la console ACK. Dans le volet de navigation de gauche, cliquez sur Clusters.

2. Sur la page Clusters, cliquez sur le nom de votre cluster. Dans le volet de navigation de gauche, cliquez sur Add-ons .

3. Sur la page Component Management, recherchez le composant ack-nvidia-device-plugin et cliquez sur Configuration sur sa carte.

4. Dans la boîte de dialogue qui s'affiche, activez ou désactivez le clôturage automatique des GPU.

   • Pour activer : Cochez Enable Automatic GPU Fencing et sélectionnez NPD Checks for Automatic GPU Fencing.

   • Pour désactiver : Décochez Enable Automatic GPU Fencing ou ne configurez aucune vérification.

Exigences

À partir de la version v0.5.0, ack-nvidia-device-plugin prend en charge le montage des périphériques GDR dans les conteneurs GPU. Cette fonctionnalité nécessite les éléments suivants :

• La version du cluster est 1,32 ou ultérieure.

• Le nœud est un nœud Lingjun.

• Le logiciel GDR est installé sur le nœud.

  Vous pouvez vous connecter au nœud et exécuter la commande lsmod | grep gdrdrv pour vérifier si le module noyau GDR est chargé. La sortie d'exemple est la suivante :

  gdrdrv                196608  0
  nvidia              14680064  88 nvidia_uvm,nvidia_peermem,gdrdrv,nvidia_modeset

• NVIDIA Container Toolkit 1.15.0 ou ultérieur est installé sur le nœud.

  Vous pouvez vérifier la version en vous connectant au nœud et en exécutant nvidia-container-cli --version . Voici un exemple de sortie :

  cli-version: 1.17.8
  lib-version: 1.17.8

Désactiver la fonctionnalité native d'isolation des GPU

Contexte

Lorsqu'un GPU sur un nœud tombe en panne, ACK isole automatiquement le GPU défaillant en utilisant le plug-in de périphérique NVIDIA pour empêcher le planificateur de lui assigner des tâches. Cependant, cette isolation automatique n'effectue pas de réparation automatique. Vous devez toujours redémarrer ou réparer manuellement le nœud. Nous vous recommandons de configurer des alertes pour les exceptions GPU afin de les traiter rapidement. Pour plus d'informations sur la fonctionnalité native d'isolation des GPU du plug-in de périphérique NVIDIA, consultez k8s-device-plugin.

• Après l'isolation, si le nœud ne dispose pas de suffisamment de GPU pour répondre aux exigences d'une tâche (par exemple, une tâche nécessite huit cartes mais seulement sept sont disponibles), le planificateur ne peut pas placer la tâche sur ce nœud, laissant les ressources GPU inutilisées.

• Lorsque l'état du GPU revient à la normale, le système supprime automatiquement l'isolation du périphérique.

• Si vous devez désactiver l'isolation automatique afin que le nœud continue de signaler les ressources pour les GPU défaillants, reportez-vous à la solution suivante.

Solution

1. Confirmez si la fonctionnalité native d'isolation des GPU est activée pour le module complémentaire.

   Si elle n'est pas activée, vous n'avez pas besoin d'effectuer les étapes suivantes pour la désactiver.

   Version 1.32 et ultérieure

   Connectez-vous à la console ACK et vérifiez la version de ack-nvidia-device-plugin sur la page Add-ons du cluster cible. Si la version est v0.1.0, la fonctionnalité d'isolation des GPU est activée.

   Versions 1.20 à 1.31

   1. Utilisez kubectl pour vous connecter au cluster dans Workbench ou CloudShell.

   2. Vérifiez si le plug-in de périphérique NVIDIA a l'isolation des GPU activée.

      check_gpu_isolation_enabled() {
          echo "Checking nodes with NVIDIA Device Plugin deployed as static pods that have GPU isolation enabled (i.e., DP_DISABLE_HEALTHCHECKS is not set to 'all')..."
      
          # Get pod names with the expected label.
          pods=$(kubectl get pods -n kube-system -l component=nvidia-device-plugin --no-headers -o custom-columns=":metadata.name" 2>/dev/null)
      
          if [ -z "$pods" ]; then
              echo "No pods found with label 'component=nvidia-device-plugin'."
              return 0
          fi
      
          found=0
          while IFS= read -r pod; do
              [ -z "$pod" ] && continue
      
              # Check if it's a static pod: annotation kubernetes.io/config.source must be "file".
              config_source=$(kubectl get pod "$pod" -n kube-system -o jsonpath='{.metadata.annotations.kubernetes\.io/config\.source}' 2>/dev/null)
      
              if [ "$config_source" != "file" ]; then
                  # Not a static pod (e.g., managed by a DaemonSet), skip.
                  continue
              fi
      
              # Get node name.
              node=$(kubectl get pod "$pod" -n kube-system -o jsonpath='{.spec.nodeName}' 2>/dev/null)
              [ -z "$node" ] && continue
      
              # Check if DP_DISABLE_HEALTHCHECKS is set to "all".
              disabled_value=$(kubectl get pod "$pod" -n kube-system -o jsonpath='{range .spec.containers[*]}{range .env[?(@.name=="DP_DISABLE_HEALTHCHECKS")]}{.value}{"\n"}{end}{end}' 2>/dev/null | head -n1)
      
              # If not set or not equal to "all", health checks are active, which means isolation is enabled.
              if [ -z "$disabled_value" ] || [ "$disabled_value" != "all" ]; then
                  echo "Node: $node, Static Pod: $pod"
                  found=1
              fi
          done <<< "$pods"
      
          if [ "$found" -eq 0 ]; then
              echo "No static pods found with GPU isolation enabled."
          else
              echo "Note: The above nodes will automatically isolate faulty GPUs via the NVIDIA Device Plugin."
          fi
      }
      
      check_gpu_isolation_enabled

      Sortie attendue :

      Checking nodes with NVIDIA Device Plugin deployed as static pods that have GPU isolation enabled (i.e., DP_DISABLE_HEALTHCHECKS is not set to 'all')...
      Node: cn-beijing.192.168.XXX.XXX, Static Pod: nvidia-device-plugin-cn-beijing.192.168.XXX.XXX
      Note: The above nodes will automatically isolate faulty GPUs via NVIDIA Device Plugin.

      Si la sortie contient Note: The above nodes will automatically isolate faulty GPUs via NVIDIA Device Plugin., la fonctionnalité d'isolation des GPU est activée.

2. Désactivez la fonctionnalité d'isolation des GPU en mettant à niveau le module complémentaire.

   La fonctionnalité native d'isolation des GPU est désactivée par défaut dans la dernière version du module complémentaire NVIDIA Device Plugin. Mettez à niveau le plug-in de périphérique NVIDIA vers la dernière version pour appliquer cette modification.