Container Service for Kubernetes:ack-nvidia-device-plugin アドオンの設定と管理

NVIDIA デバイスプラグインのバージョンの確認

kubectl get pods -n kube-system -l component=nvidia-device-plugin \
  -o jsonpath='{range .items[*]}{.spec.containers[0].image}{"\t"}{.spec.nodeName}{"\n"}{end}' \
  | awk -F'[:/]' '{split($NF, a, "-"); print a[1] "\t" $0}' \
  | sort -k1,1V \
  | cut -f2- \
  | awk -F'\t' '{split($1, img, ":"); print img[NF] "\t" $2}'

1. ack-nvidia-device-plugin アドオンをアップグレードします。

   バージョン 1.32 以降

   1. ACKコンソールにログインします。 左側のナビゲーションウィンドウで、[クラスター] をクリックします。

   2. [クラスター] ページで、管理するクラスターの名前をクリックします。 左側のウィンドウで、[操作] > [アドオン] を選択します。

   3. 「アドオン」ページで、ack-nvidia-device-plugin カードを見つけ、アップグレード をクリックします。

   4. 表示されたダイアログボックスで、OK をクリックします。

   バージョン 1.20 から 1.31

   1. [クラスター] ページで、管理するクラスターの名前をクリックします。 左側のナビゲーションウィンドウで、[ノード] > [ノード] を選択します。

   2. 管理する GPU 高速化ノードを選択し、ノードリストの下部にある一括操作をクリックし、一括操作ダイアログボックスでShell スクリプトの実行を選択し、次にOKをクリックします。

      重要

      まず少数の GPU アクセラレーションノードで GPU デバイスプラグインをアップグレードすることを推奨します。プラグインが期待どおりに動作することを確認した後、残りのノードでアップグレードを実行してください。

   3. CloudOps Orchestration Service (OOS) コンソールにリダイレクトされます。実行モード を 失敗中止 に設定し、[次へ: パラメーター設定] をクリックします。

   4. パラメーター設定ページで、[シェルスクリプトの実行] を選択し、次のサンプルスクリプトを貼り付けます。

      説明

      • スクリプトの RUN_PKG_VERSION パラメーターに、クラスターのメジャーバージョン番号 (例: 1.30) を設定してください。マイナーバージョン番号 (例: 1.30.1) は入力しないでください。そうしないと、スクリプトでエラーが発生します。

      • スクリプトで、REGION_ID パラメーターを現在のクラスターのリージョン ID (例: cn-beijing) に変更します。

      #!/bin/bash
      set -xe
      
      # Kubernetes のメジャーバージョンを設定します。
      RUN_PKG_VERSION=1.30
      # リージョン ID を設定します。
      REGION_ID=cn-beijing
      
      function update_device_plugin() {
      	base_dir=/tmp/update_device_plugin
      	rm -rf $base_dir
      	mkdir -p $base_dir
      	cd $base_dir
      	region_id=$REGION_ID
      	PKG_URL=https://aliacs-k8s-${region_id}.oss-${region_id}-internal.aliyuncs.com/public/pkg/run/run-${RUN_PKG_VERSION}.tar.gz
      	curl -sSL --retry 3 --retry-delay 2 -o run.tar.gz $PKG_URL
      	tar -xf run.tar.gz
      
      	local dir=pkg/run/$RUN_PKG_VERSION/module
      	# イメージレジストリアドレスを置き換えます。
      	sed -i "s@registry.cn-hangzhou.aliyuncs.com/acs@registry-${region_id}-vpc.ack.aliyuncs.com/acs@g" $dir/nvidia-device-plugin.yml
      	mkdir -p /etc/kubernetes/device-plugin-backup
      	mkdir -p /etc/kubernetes/manifests
      	# 古い設定ファイルをバックアップします。
      	mv  /etc/kubernetes/manifests/nvidia-device-plugin.yml /etc/kubernetes/device-plugin-backup/nvidia-device-plugin.yml.$(date +%s)
      	sleep 5
      	# 新しい設定ファイルをコピーします。
      	cp -a $dir/nvidia-device-plugin.yml /etc/kubernetes/manifests
      	echo "succeeded to update device plugin"
      }
      
      # nvidia-device-plugin.yml ファイルが存在するかどうかを確認します。
      if [ -f /etc/kubernetes/manifests/nvidia-device-plugin.yml ]; then
      	update_device_plugin
      else
      	echo "skip to update device plugin"
      fi

   5. 次へ: 確認をクリックします。情報を確認した後、作成するをクリックします。

      タスクが作成されると、自動的に[タスク実行管理] ページにリダイレクトされ、そこでタスクの実行ステータスを表示できます。更新は、出力 が succeeded to update device plugin の場合に成功となります。

2. アドオンが期待どおりに動作しているかどうかを確認します。

   次のコマンドを実行して、GPU アクセラレーションノードで GPU デバイスプラグインが正しく動作しているかどうかを確認します。

   1. Workbench または CloudShell で kubectl を使用してクラスターに接続します。

   2. 次のコマンドを実行して、NVIDIA デバイスプラグインが再起動したかどうかを確認します。

      kubectl get po -n kube-system -l component=nvidia-device-plugin 

      サンプル出力の AGE 列は、Pod が再起動したかどうかを示します。

      NAME                             READY   STATUS    RESTARTS      AGE
      nvidia-device-plugin-xxxx        1/1     Running   1             1m

   3. すべての Pod が再起動した後、次のスクリプトを実行して、ノードが GPU リソースを報告しているかどうかを確認します。

      #!/bin/bash
      
      # すべての NVIDIA デバイスプラグイン Pod とそれに対応するノードを取得します。
      PODS=$(kubectl get po -n kube-system -l component=nvidia-device-plugin -o jsonpath='{range .items[*]}{.metadata.name}{"\t"}{.spec.nodeName}{"\n"}{end}')
      
      # 各 Pod のノードを反復処理します。
      echo "$PODS" | while IFS=$'\t' read -r pod_name node_name; do
          # ノードの allocatable nvidia.com/gpu リソース値を取得します。
          gpu_allocatable=$(kubectl get node "$node_name" -o jsonpath='{.status.allocatable.nvidia\.com/gpu}' 2>/dev/null)
      
          # リソース値が 0 かどうかを確認します。
          if [ "$gpu_allocatable" == "0" ]; then
              echo "Error: node=$node_name, pod=$pod_name, resource(nvidia.com/gpu) is 0"
          fi
      done

      ノードがゼロのリソースを報告している場合は、「NVIDIA デバイスプラグインの再起動」をご参照ください。

要件

v0.5.0 以降、ack-nvidia-device-plugin は GDR デバイスを GPU コンテナにマウントすることに対応しています。この機能には、以下の要件があります。

• クラスターのバージョンが 1.32 以降であること。

• ノードが Lingjun ノードであること。

• ノードに GDR ソフトウェアがインストールされていること。

  ノードにログインし、lsmod | grep gdrdrv コマンドを実行して、GDR カーネルモジュールがロードされているかどうかを確認できます。サンプル出力は次のとおりです。

  gdrdrv                196608  0
  nvidia              14680064  88 nvidia_uvm,nvidia_peermem,gdrdrv,nvidia_modeset

• ノードに NVIDIA Container Toolkit 1.15.0 以降がインストールされていること。

  ノードにログインして nvidia-container-cli --version を実行すると、バージョンを確認できます。以下に出力例を示します。

  cli-version: 1.17.8
  lib-version: 1.17.8

ネイティブ GPU 隔離機能の無効化

背景

ノード上の GPU に障害が発生した場合、ACK は NVIDIA デバイスプラグインを使用して障害のある GPU を自動的に隔離し、スケジューラーがそこにタスクを割り当てないようにします。ただし、この自動隔離は自動修復を実行しません。ノードを手動で再起動または修復する必要があります。GPU 例外のアラートを設定して、迅速に対処することを推奨します。NVIDIA デバイスプラグインのネイティブ GPU 隔離機能の詳細については、「k8s-device-plugin」をご参照ください。

• 隔離後、ノードにタスクの要件を満たす十分な GPU がない場合 (たとえば、タスクに 8 枚のカードが必要だが、7 枚しか利用できない場合)、スケジューラーはそのノードにタスクを割り当てられず、GPU リソースがアイドル状態のままになります。

• GPU ステータスが正常に戻ると、システムはデバイスの隔離を自動的に解除します。

• 自動隔離を無効にして、障害のある GPU に対してもノードがリソースを報告し続けるようにする必要がある場合は、次のソリューションを参照してください。

ソリューション

1. アドオンでネイティブ GPU 隔離機能が有効になっているかどうかを確認します。

   有効になっていない場合、無効にするための後続の手順を実行する必要はありません。

   バージョン 1.32 以降

   ACK コンソールにログインし、対象クラスターのアドオン管理 ページで ack-nvidia-device-plugin のバージョンを確認します。バージョンが v0.1.0 の場合、GPU 分離機能が有効になっています。

   バージョン 1.20 から 1.31

   1. Workbench または CloudShell で kubectl を使用してクラスターに接続します。

   2. NVIDIA デバイスプラグインで GPU 隔離が有効になっているかどうかを確認します。

      check_gpu_isolation_enabled() {
          echo "Checking nodes with NVIDIA Device Plugin deployed as static pods that have GPU isolation enabled (i.e., DP_DISABLE_HEALTHCHECKS is not set to 'all')..."
      
          # 期待されるラベルを持つ Pod 名を取得します。
          pods=$(kubectl get pods -n kube-system -l component=nvidia-device-plugin --no-headers -o custom-columns=":metadata.name" 2>/dev/null)
      
          if [ -z "$pods" ]; then
              echo "No pods found with label 'component=nvidia-device-plugin'."
              return 0
          fi
      
          found=0
          while IFS= read -r pod; do
              [ -z "$pod" ] && continue
      
              # 静的 Pod かどうかを確認します: アノテーション kubernetes.io/config.source が "file" である必要があります。
              config_source=$(kubectl get pod "$pod" -n kube-system -o jsonpath='{.metadata.annotations.kubernetes\.io/config\.source}' 2>/dev/null)
      
              if [ "$config_source" != "file" ]; then
                  # 静的 Pod ではありません (例: DaemonSet によって管理されている)。スキップします。
                  continue
              fi
      
              # ノード名を取得します。
              node=$(kubectl get pod "$pod" -n kube-system -o jsonpath='{.spec.nodeName}' 2>/dev/null)
              [ -z "$node" ] && continue
      
              # DP_DISABLE_HEALTHCHECKS が "all" に設定されているかどうかを確認します。
              disabled_value=$(kubectl get pod "$pod" -n kube-system -o jsonpath='{range .spec.containers[*]}{range .env[?(@.name=="DP_DISABLE_HEALTHCHECKS")]}{.value}{"\n"}{end}{end}' 2>/dev/null | head -n1)
      
              # 設定されていないか、"all" と等しくない場合、ヘルスチェックがアクティブであり、隔離が有効になっていることを意味します。
              if [ -z "$disabled_value" ] || [ "$disabled_value" != "all" ]; then
                  echo "Node: $node, Static Pod: $pod"
                  found=1
              fi
          done <<< "$pods"
      
          if [ "$found" -eq 0 ]; then
              echo "No static pods found with GPU isolation enabled."
          else
              echo "Note: The above nodes will automatically isolate faulty GPUs via NVIDIA Device Plugin."
          fi
      }
      
      check_gpu_isolation_enabled

      想定される出力:

      Checking nodes with NVIDIA Device Plugin deployed as static pods that have GPU isolation enabled (i.e., DP_DISABLE_HEALTHCHECKS is not set to 'all')...
      Node: cn-beijing.192.168.XXX.XXX, Static Pod: nvidia-device-plugin-cn-beijing.192.168.XXX.XXX
      Note: The above nodes will automatically isolate faulty GPUs via NVIDIA Device Plugin.

      出力に注: 上記のノードは、NVIDIA Device Plugin を介して障害のある GPU を自動的に隔離します。が含まれている場合、GPU 隔離機能が有効になっています。

2. アドオンをアップグレードして GPU 隔離機能を無効にします。

   NVIDIA デバイスプラグインアドオンの最新バージョンでは、ネイティブ GPU 隔離機能がデフォルトで無効になっています。NVIDIA デバイスプラグインをアップグレードして、この変更を適用してください。