Container Service for Kubernetes：配置及管理ack-nvidia-device-plugin組件

查看NVIDIA Device Plugin版本

kubectl get pods -n kube-system -l component=nvidia-device-plugin \
  -o jsonpath='{range .items[*]}{.spec.containers[0].image}{"\t"}{.spec.nodeName}{"\n"}{end}' \
  | awk -F'[:/]' '{split($NF, a, "-"); print a[1] "\t" $0}' \
  | sort -k1,1V \
  | cut -f2- \
  | awk -F'\t' '{split($1, img, ":"); print img[NF] "\t" $2}'

1. 升級ack-nvidia-device-plugin組件。

   1.32及以上叢集版本

   1. 登入Container Service管理主控台，在左側導覽列選擇叢集列表。

   2. 在叢集列表頁面，單擊目的地組群名稱，然後在左側導覽列，單擊組件管理。

   3. 在組件管理頁面，搜尋ack-nvidia-device-plugin組件，在其卡片位置單擊升級。

   4. 在彈出的對話方塊中，單擊確定。

   1.20至1.31間叢集版本

   1. 在叢集列表頁面，單擊目的地組群名稱，然後在左側導覽列，選擇節點管理 > 節點。

   2. 選中需要批量維護的GPU節點，在節點列表下方單擊批量營運，然後在批量營運對話方塊選擇執行Shell命令，單擊確定。

      重要

      建議先選擇少量GPU節點進行升級，操作完成驗證節點Device Plugin正常工作後，再大大量操作。

   3. 在自動跳轉的OOS介面，選擇執行模式為失敗暫停後，單擊下一步：設定參數。

   4. 在設定參數頁面，選擇運行Shell指令碼，並粘貼如下樣本指令碼。

      說明

      • 指令碼中RUN_PKG_VERSION參數需修改為叢集對應的大版本號碼（例如：1.30）。請勿填入小版本號碼（例如：1.30.1），否則會導致指令碼報錯。

      • 指令碼中REGION_ID參數需修改為當前叢集所在的地區ID，例如：cn-beijing。

      #!/bin/bash
      set -xe
      
      RUN_PKG_VERSION=1.30
      REGION_ID=cn-beijing
      
      function update_device_plugin() {
      	base_dir=/tmp/update_device_plugin
      	rm -rf $base_dir
      	mkdir -p $base_dir
      	cd $base_dir
      	region_id=$REGION_ID
      	PKG_URL=https://aliacs-k8s-${region_id}.oss-${region_id}-internal.aliyuncs.com/public/pkg/run/run-${RUN_PKG_VERSION}.tar.gz
      	curl -sSL --retry 3 --retry-delay 2 -o run.tar.gz $PKG_URL
      	tar -xf run.tar.gz
      
      	local dir=pkg/run/$RUN_PKG_VERSION/module
      	sed -i "s@registry.cn-hangzhou.aliyuncs.com/acs@registry-${region_id}-vpc.ack.aliyuncs.com/acs@g" $dir/nvidia-device-plugin.yml
      	mkdir -p /etc/kubernetes/device-plugin-backup
      	mkdir -p /etc/kubernetes/manifests
      	mv  /etc/kubernetes/manifests/nvidia-device-plugin.yml /etc/kubernetes/device-plugin-backup/nvidia-device-plugin.yml.$(date +%s)
      	sleep 5
      	cp -a $dir/nvidia-device-plugin.yml /etc/kubernetes/manifests
      	echo "succeeded to update device plugin"
      }
      
      if [ -f /etc/kubernetes/manifests/nvidia-device-plugin.yml ]; then
      	update_device_plugin
      else
      	echo "skip to update device plugin"
      fi

   5. 單擊下一步：確定，確認資訊無誤後單擊建立。

      建立後自動跳轉至任務執行管理頁面，可查看任務運行狀態。查看執行輸出為succeeded to update device plugin，表明更新成功。

2. 檢查組件是否正常運行。

   執行如下命令，查看GPU節點上Device Plugin是否正常工作。

   1. 在Workbench或CloudShell上使用kubectl串連叢集。

   2. 使用如下命令檢查NVIDIA Device Plugin是否重啟：

      kubectl get po -n kube-system -l component=nvidia-device-plugin 

      樣本輸出，通過AGE時間判斷Pod是否重啟。

      NAME                             READY   STATUS    RESTARTS      AGE
      nvidia-device-plugin-xxxx        1/1     Running   1             1m

   3. 判斷所有Pod重啟後，執行如下指令碼檢測節點是否上報GPU資源：

      #!/bin/bash
      
      # 擷取所有合格 NVIDIA Device Plugin Pod及其所在節點
      PODS=$(kubectl get po -n kube-system -l component=nvidia-device-plugin -o jsonpath='{range .items[*]}{.metadata.name}{"\t"}{.spec.nodeName}{"\n"}{end}')
      
      # 遍曆每個 Pod 的節點
      echo "$PODS" | while IFS=$'\t' read -r pod_name node_name; do
          # 擷取節點的 nvidia.com/gpu 資源分派值
          gpu_allocatable=$(kubectl get node "$node_name" -o jsonpath='{.status.allocatable.nvidia\.com/gpu}' 2>/dev/null)
      
          # 檢查資源值是否為 0
          if [ "$gpu_allocatable" == "0" ]; then
              echo "Error: node=$node_name, pod=$pod_name, resource(nvidia.com/gpu) is 0"
          fi
      done

      如果出現節點上報資源為0， 可參考重啟NVIDIA Device Plugin。

如何關閉NVIDIA Device Plugin原生GPU隔離能力？

問題背景

當節點 GPU 出現異常時，ACK 會通過 NVIDIA Device Plugin 自動隔離異常GPU，防止任務被調度到異常GPU上。而自動隔離並不會執行自動修複，您仍需手動重啟或維修節點，並建議配置 GPU 異常警示以便及時處理。關於NVIDIA Device Plugin原生GPU隔離能力的更多資訊，請參見k8s-device-plugin。

• 隔離後，若節點剩餘 GPU 不足以滿足任務需求（如 8 卡任務在僅有 7 卡可用時），任務將無法調度，可能導致GPU資源閑置。

• GPU狀態恢複正常後，對該GPU裝置的隔離會自動解除。

• 如需關閉自動隔離（出現異常GPU仍然上報資源，不做異常GPU隔離），請參考後續解決方案。

解決方案

1. 確認組件是否已開啟原生的GPU隔離能力。

   如果未開啟，則無需執行後續的關閉操作。

   1.32及以上叢集版本

   登入Container Service管理主控台，在目的地組群的組件管理中檢查ack-nvidia-device-plugin版本。如果版本為v0.1.0，則說明已開啟GPU隔離能力。

   1.20至1.31間叢集版本

   1. 在Workbench或CloudShell上使用kubectl串連叢集。

   2. 檢測NVIDIA Device Plugin是否開啟GPU隔離能力。

      check_gpu_isolation_enabled() {
          echo "Checking nodes with NVIDIA Device Plugin deployed as static pods that have GPU isolation enabled (i.e., DP_DISABLE_HEALTHCHECKS is not set to 'all')..."
      
          # Get pod names with the expected label
          pods=$(kubectl get pods -n kube-system -l component=nvidia-device-plugin --no-headers -o custom-columns=":metadata.name" 2>/dev/null)
      
          if [ -z "$pods" ]; then
              echo "No pods found with label 'component=nvidia-device-plugin'."
              return 0
          fi
      
          found=0
          while IFS= read -r pod; do
              [ -z "$pod" ] && continue
      
              # Check if it's a static pod: annotation kubernetes.io/config.source must be "file"
              config_source=$(kubectl get pod "$pod" -n kube-system -o jsonpath='{.metadata.annotations.kubernetes\.io/config\.source}' 2>/dev/null)
      
              if [ "$config_source" != "file" ]; then
                  # Not a static pod (e.g., managed by DaemonSet), skip
                  continue
              fi
      
              # Get node name
              node=$(kubectl get pod "$pod" -n kube-system -o jsonpath='{.spec.nodeName}' 2>/dev/null)
              [ -z "$node" ] && continue
      
              # Check if DP_DISABLE_HEALTHCHECKS is set to "all"
              disabled_value=$(kubectl get pod "$pod" -n kube-system -o jsonpath='{range .spec.containers[*]}{range .env[?(@.name=="DP_DISABLE_HEALTHCHECKS")]}{.value}{"\n"}{end}{end}' 2>/dev/null | head -n1)
      
              # If not set or not equal to "all", health checks are active → isolation is enabled
              if [ -z "$disabled_value" ] || [ "$disabled_value" != "all" ]; then
                  echo "Node: $node, Static Pod: $pod"
                  found=1
              fi
          done <<< "$pods"
      
          if [ "$found" -eq 0 ]; then
              echo "No static pods found with GPU isolation enabled."
          else
              echo "Note: The above nodes will automatically isolate faulty GPUs via NVIDIA Device Plugin."
          fi
      }
      
      check_gpu_isolation_enabled

      預期輸出：

      Checking nodes with NVIDIA Device Plugin deployed as static pods that have GPU isolation enabled (i.e., DP_DISABLE_HEALTHCHECKS is not set to 'all')...
      Node: cn-beijing.192.168.XXX.XXX, Static Pod: nvidia-device-plugin-cn-beijing.192.168.XXX.XXX
      Note: The above nodes will automatically isolate faulty GPUs via NVIDIA Device Plugin.

      若輸出結果中包含Note: The above nodes will automatically isolate faulty GPUs via NVIDIA Device Plugin.，則說明已開啟GPU隔離能力。

2. 通過升級組件關閉GPU隔離能力。

   最新版本的NVIDIA Device Plugin組件已預設關閉原生的GPU隔離能力，請升級NVIDIA Device Plugin組件至最新版。