Container Service for Kubernetes:ack-nvidia-device-plugin アドオンの設定と管理

NVIDIA device plugin のバージョンの確認

kubectl get pods -n kube-system -l component=nvidia-device-plugin \
  -o jsonpath='{range .items[*]}{.spec.containers[0].image}{"\t"}{.spec.nodeName}{"\n"}{end}' \
  | awk -F'[:/]' '{split($NF, a, "-"); print a[1] "\t" $0}' \
  | sort -k1,1V \
  | cut -f2- \
  | awk -F'\t' '{split($1, img, ":"); print img[NF] "\t" $2}'

1. ack-nvidia-device-plugin アドオンをアップグレードします。

   バージョン 1.32 以降

   1. ACK コンソールにログインします。左側のナビゲーションウィンドウで、クラスターリスト をクリックします。

   2. クラスターリスト ページで、クラスターの名前をクリックします。左側のナビゲーションウィンドウで、アドオン管理 をクリックします。

   3. アドオンページで、ack-nvidia-device-plugin カードを見つけて、アップグレード をクリックします。

   4. 表示されるダイアログボックスで、OK をクリックします。

   バージョン 1.20 から 1.31

   1. クラスターリスト ページで、クラスターの名前をクリックします。左側のナビゲーションウィンドウで、ノード > ノード をクリックします。

   2. 管理する GPU アクセラレーションノードを選択し、ノードリストの下部にある 一括操作 をクリックし、一括操作 ダイアログボックスで Shell スクリプトの実行 を選択し、OK をクリックします。

      重要

      まず少数の GPU アクセラレーションノードで GPU デバイスプラグインをアップグレードし、プラグインが期待どおりに動作することを確認してから、残りのノードでアップグレードを実行することを推奨します。

   3. CloudOps Orchestration Service (OOS) コンソールにリダイレクトされます。実行モード を 失敗中止 に設定し、次へ：パラメーター設定 をクリックします。

   4. パラメーター設定ページで、シェルスクリプトの実行 を選択し、次のサンプルスクリプトを貼り付けます。

      説明

      • スクリプトの RUN_PKG_VERSION パラメーターをクラスターのメジャーバージョン番号 (例：1.30) に設定してください。マイナーバージョン番号 (例：1.30.1) を入力すると、スクリプトはエラーを報告します。

      • スクリプトで、REGION_ID パラメーターを現在のクラスターのリージョン ID (例：cn-beijing) に変更してください。

      #!/bin/bash
      set -xe
      
      # Kubernetes のメジャーバージョンを設定します。
      RUN_PKG_VERSION=1.30
      # リージョン ID を設定します。
      REGION_ID=cn-beijing
      
      function update_device_plugin() {
      	base_dir=/tmp/update_device_plugin
      	rm -rf $base_dir
      	mkdir -p $base_dir
      	cd $base_dir
      	region_id=$REGION_ID
      	PKG_URL=https://aliacs-k8s-${region_id}.oss-${region_id}-internal.aliyuncs.com/public/pkg/run/run-${RUN_PKG_VERSION}.tar.gz
      	curl -sSL --retry 3 --retry-delay 2 -o run.tar.gz $PKG_URL
      	tar -xf run.tar.gz
      
      	local dir=pkg/run/$RUN_PKG_VERSION/module
      	# イメージレジストリのアドレスを置き換えます。
      	sed -i "s@registry.cn-hangzhou.aliyuncs.com/acs@registry-${region_id}-vpc.ack.aliyuncs.com/acs@g" $dir/nvidia-device-plugin.yml
      	mkdir -p /etc/kubernetes/device-plugin-backup
      	mkdir -p /etc/kubernetes/manifests
      	# 古い設定ファイルをバックアップします。
      	mv  /etc/kubernetes/manifests/nvidia-device-plugin.yml /etc/kubernetes/device-plugin-backup/nvidia-device-plugin.yml.$(date +%s)
      	sleep 5
      	# 新しい設定ファイルをコピーします。
      	cp -a $dir/nvidia-device-plugin.yml /etc/kubernetes/manifests
      	echo "succeeded to update device plugin"
      }
      
      # nvidia-device-plugin.yml ファイルが存在するかどうかを確認します。
      if [ -f /etc/kubernetes/manifests/nvidia-device-plugin.yml ]; then
      	update_device_plugin
      else
      	echo "skip to update device plugin"
      fi

   5. 次へ：確認 をクリックします。情報を確認した後、作成する をクリックします。

      タスクが作成されると、自動的に タスク実行管理 ページにリダイレクトされ、タスクの実行ステータスを確認できます。出力 が succeeded to update device plugin であれば、更新は成功です。

2. アドオンが期待どおりに実行されるかどうかを確認します。

   次のコマンドを実行して、GPU デバイスプラグインが GPU アクセラレーションノードで正しく動作しているかを確認します。

   1. Workbench または CloudShell で kubectl を使用してクラスターに接続します。

   2. 次のコマンドを実行して、NVIDIA Device Plugin が再起動したかを確認します。

      kubectl get po -n kube-system -l component=nvidia-device-plugin 

      サンプル出力の AGE 列は、Pod が再起動したかどうかを示します。

      NAME                             READY   STATUS    RESTARTS      AGE
      nvidia-device-plugin-xxxx        1/1     Running   1             1m

   3. すべての Pod が再起動した後、次のスクリプトを実行して、ノードが GPU リソースを報告しているかを確認します。

      #!/bin/bash
      
      # すべての NVIDIA Device Plugin Pod とそれに対応するノードを取得します。
      PODS=$(kubectl get po -n kube-system -l component=nvidia-device-plugin -o jsonpath='{range .items[*]}{.metadata.name}{"\t"}{.spec.nodeName}{"\n"}{end}')
      
      # 各 Pod のノードを反復処理します。
      echo "$PODS" | while IFS=$'\t' read -r pod_name node_name; do
          # ノードの割り当て可能な nvidia.com/gpu リソースの値を取得します。
          gpu_allocatable=$(kubectl get node "$node_name" -o jsonpath='{.status.allocatable.nvidia\.com/gpu}' 2>/dev/null)
      
          # リソース値が 0 かどうかを確認します。
          if [ "$gpu_allocatable" == "0" ]; then
              echo "Error: node=$node_name, pod=$pod_name, resource(nvidia.com/gpu) is 0"
          fi
      done

      ノードがゼロリソースを報告する場合は、「NVIDIA Device Plugin の再起動」をご参照ください。

要件

v0.5.0 以降、ack-nvidia-device-plugin は GDR デバイスを GPU コンテナにマウントすることをサポートしています。この機能には、次の要件があります。

• クラスターのバージョンが 1.32 以降であること。

• ノードが Lingjun ノードであること。

• ノードに GDR ソフトウェアがインストールされていること。

  ノードにログインし、lsmod | grep gdrdrv コマンドを実行して、GDR カーネルモジュールがロードされているかどうかを確認できます。サンプル出力は次のとおりです。

  gdrdrv                196608  0
  nvidia              14680064  88 nvidia_uvm,nvidia_peermem,gdrdrv,nvidia_modeset

• ノードに NVIDIA Container Toolkit 1.15.0 以降がインストールされていること。

  ノードにログインし、nvidia-container-cli --version を実行してバージョンを確認できます。以下に出力の例を示します。

  cli-version: 1.17.8
  lib-version: 1.17.8

ネイティブ GPU 隔離機能の無効化

背景

ノード上の GPU に障害が発生した場合、ACK は NVIDIA Device Plugin を使用して障害のある GPU を自動的に隔離し、スケジューラがタスクを割り当てるのを防ぎます。ただし、この自動隔離は自動修復を行いません。ノードを手動で再起動または修復する必要があります。GPU の例外に迅速に対応するために、GPU 例外のアラートを設定することを推奨します。NVIDIA Device Plugin のネイティブ GPU 隔離機能の詳細については、「k8s-device-plugin」をご参照ください。

• 隔離後、タスクの要件に対してノードの GPU が不足している場合 (たとえば、タスクが 8 枚のカードを必要とするが、利用可能なのは 7 枚のみ)、スケジューラはそのノードにタスクを配置できず、GPU リソースがアイドル状態になります。

• GPU の状態が正常に戻ると、システムはデバイスから隔離を自動的に解除します。

• 障害のある GPU のリソースをノードが引き続き報告するように自動隔離を無効にする必要がある場合は、次のソリューションをご参照ください。

ソリューション

1. アドオンでネイティブ GPU 隔離機能が有効になっているかどうかを確認します。

   有効になっていない場合は、後続の無効化手順を実行する必要はありません。

   バージョン 1.32 以降

   ACK コンソールにログインし、対象クラスターの アドオン管理 ページで ack-nvidia-device-plugin のバージョンを確認します。バージョンが v0.1.0 の場合、GPU 隔離機能は有効になっています。

   バージョン 1.20 から 1.31

   1. Workbench または CloudShell で kubectl を使用してクラスターに接続します。

   2. NVIDIA Device Plugin で GPU 隔離が有効になっているかを確認します。

      check_gpu_isolation_enabled() {
          echo "Checking nodes with NVIDIA Device Plugin deployed as static pods that have GPU isolation enabled (i.e., DP_DISABLE_HEALTHCHECKS is not set to 'all')..."
      
          # Get pod names with the expected label.
          pods=$(kubectl get pods -n kube-system -l component=nvidia-device-plugin --no-headers -o custom-columns=":metadata.name" 2>/dev/null)
      
          if [ -z "$pods" ]; then
              echo "No pods found with label 'component=nvidia-device-plugin'."
              return 0
          fi
      
          found=0
          while IFS= read -r pod; do
              [ -z "$pod" ] && continue
      
              # Check if it's a static pod: annotation kubernetes.io/config.source must be "file".
              config_source=$(kubectl get pod "$pod" -n kube-system -o jsonpath='{.metadata.annotations.kubernetes\.io/config\.source}' 2>/dev/null)
      
              if [ "$config_source" != "file" ]; then
                  # Not a static pod (e.g., managed by a DaemonSet), skip.
                  continue
              fi
      
              # Get node name.
              node=$(kubectl get pod "$pod" -n kube-system -o jsonpath='{.spec.nodeName}' 2>/dev/null)
              [ -z "$node" ] && continue
      
              # Check if DP_DISABLE_HEALTHCHECKS is set to "all".
              disabled_value=$(kubectl get pod "$pod" -n kube-system -o jsonpath='{range .spec.containers[*]}{range .env[?(@.name=="DP_DISABLE_HEALTHCHECKS")]}{.value}{"\n"}{end}{end}' 2>/dev/null | head -n1)
      
              # If not set or not equal to "all", health checks are active, which means isolation is enabled.
              if [ -z "$disabled_value" ] || [ "$disabled_value" != "all" ]; then
                  echo "Node: $node, Static Pod: $pod"
                  found=1
              fi
          done <<< "$pods"
      
          if [ "$found" -eq 0 ]; then
              echo "No static pods found with GPU isolation enabled."
          else
              echo "Note: The above nodes will automatically isolate faulty GPUs via the NVIDIA Device Plugin."
          fi
      }
      
      check_gpu_isolation_enabled

      予想される出力：

      Checking nodes with NVIDIA Device Plugin deployed as static pods that have GPU isolation enabled (i.e., DP_DISABLE_HEALTHCHECKS is not set to 'all')...
      Node: cn-beijing.192.168.XXX.XXX, Static Pod: nvidia-device-plugin-cn-beijing.192.168.XXX.XXX
      Note: The above nodes will automatically isolate faulty GPUs via NVIDIA Device Plugin.

      出力に Note: The above nodes will automatically isolate faulty GPUs via NVIDIA Device Plugin. が含まれている場合、GPU 隔離機能は有効になっています。

2. アドオンをアップグレードして GPU 隔離機能を無効にします。

   NVIDIA Device Plugin アドオンの最新バージョンでは、ネイティブ GPU 隔離機能はデフォルトで無効になっています。この変更を適用するには、NVIDIA Device Plugin を最新バージョンにアップグレードします。