Container Service for Kubernetes:ack-nvidia-device-plugin コンポーネントの設定と管理

NVIDIA Device Plugin のバージョンを表示する

kubectl get pods -n kube-system -l component=nvidia-device-plugin \
  -o jsonpath='{range .items[*]}{.spec.containers[0].image}{"\t"}{.spec.nodeName}{"\n"}{end}' \
  | awk -F'[:/]' '{split($NF, a, "-"); print a[1] "\t" $0}' \
  | sort -k1,1V \
  | cut -f2- \
  | awk -F'\t' '{split($1, img, ":"); print img[NF] "\t" $2}'

1. ack-nvidia-device-plugin コンポーネントをアップグレードします。

   クラスターバージョン 1.32 以降の場合

   1. ACK コンソールにログインします。左側のナビゲーションウィンドウで、[クラスター] をクリックします。

   2. クラスター ページで、目的のクラスターを見つけてその名前をクリックします。左側のペインで、[操作] > [アドオン] を選択します。

   3. [コンポーネント管理] ページで、ack-nvidia-device-plugin コンポーネントを検索し、そのカードの [アップグレード] をクリックします。

   4. 表示されるダイアログボックスで、[OK] をクリックします。

   クラスターバージョン 1.20 から 1.31 の場合

   1. クラスター ページで、変更するクラスターの名前をクリックします。左側のナビゲーションウィンドウで、[ノード] > [ノード] を選択します。

   2. バッチ操作を実行する GPU ノードを選択します。ノードリストの下にある [バッチ操作] をクリックします。[バッチ操作] ダイアログボックスで、[シェルコマンドの実行] を選択し、[OK] をクリックします。

      重要

      まず、少数の GPU ノードを選択してアップグレードします。これらのノードで Device Plugin が期待どおりに動作することを確認した後、より多くのノードで操作を実行します。

   3. OOS インターフェイスにリダイレクトされます。[実行モード] を [失敗時に一時停止] に設定し、[次へ: パラメーターの設定] をクリックします。

   4. [パラメーターの設定] ページで、[シェルスクリプトの実行] を選択し、次のサンプルスクリプトを貼り付けます。

      説明

      スクリプトで、RUN_PKG_VERSION パラメーターをクラスターのメジャーバージョン (1.30 など) に変更します。マイナーバージョン (1.30.1 など) は入力しないでください。入力すると、スクリプトは失敗します。

      #!/bin/bash
      set -e
      
      RUN_PKG_VERSION=1.30
      
      function update_device_plugin() {
      	base_dir=/tmp/update_device_plugin
      	rm -rf $base_dir
      	mkdir -p $base_dir
      	cd $base_dir
      	region_id=$(curl -ssL 100.100.100.200/latest/meta-data/region-id  2> /dev/null || echo "")
      	if [[ $region_id == "" ]]; then
      		echo "Error: failed to get region id,region id is null"
      		exit 1
      	fi
      	PKG_URL=https://aliacs-k8s-${region_id}.oss-${region_id}.aliyuncs.com/public/pkg/run/run-${RUN_PKG_VERSION}.tar.gz
      	curl -sSL --retry 3 --retry-delay 2 -o run.tar.gz $PKG_URL
      	tar -xf run.tar.gz
      
      	local dir=pkg/run/$RUN_PKG_VERSION/module
      	sed -i "s@registry.cn-hangzhou.aliyuncs.com/acs@registry-${region_id}-vpc.ack.aliyuncs.com/acs@g" $dir/nvidia-device-plugin.yml
      	mkdir -p /etc/kubernetes/device-plugin-backup
      	mkdir -p /etc/kubernetes/manifests
      	mv  /etc/kubernetes/manifests/nvidia-device-plugin.yml /etc/kubernetes/device-plugin-backup/nvidia-device-plugin.yml.$(date +%s)
      	sleep 5
      	cp -a $dir/nvidia-device-plugin.yml /etc/kubernetes/manifests
      	echo "succeeded to update device plugin"
      }
      
      if [ -f /etc/kubernetes/manifests/nvidia-device-plugin.yml ]; then
      	update_device_plugin
      else
      	echo "skip to update device plugin"
      fi

   5. [次へ: 確認] をクリックします。情報を確認したら、[作成] をクリックします。

      タスクが作成されると、[タスク実行管理] ページにリダイレクトされ、タスクのステータスを表示できます。[実行出力] に succeeded to update device plugin と表示された場合、更新は成功です。

2. コンポーネントが期待どおりに実行されているかどうかを確認します。

   次のコマンドを実行して、GPU ノードの Device Plugin が期待どおりに動作するかどうかを確認します。

   1. Workbench または CloudShell の kubectl を使用してクラスターに接続します。

   2. 次のコマンドを実行して、NVIDIA Device Plugin が再起動したかどうかを確認します。

      kubectl get po -n kube-system -l component=nvidia-device-plugin 

      出力例:

      NAME                             READY   STATUS    RESTARTS      AGE
      nvidia-device-plugin-xxxx        1/1     Running   1             1m

   3. すべての Pod が再起動した後、次のスクリプトを実行して、ノードが GPU リソースを報告しているかどうかを確認します。

      #!/bin/bash
      
      # 対象となるすべての NVIDIA Device Plugin Pod とそれらが配置されているノードを取得します。
      PODS=$(kubectl get po -n kube-system -l component=nvidia-device-plugin -o jsonpath='{range .items[*]}{.metadata.name}{"\t"}{.spec.nodeName}{"\n"}{end}')
      
      # 各 Pod のノードを反復処理します。
      echo "$PODS" | while IFS=$'\t' read -r pod_name node_name; do
          # ノードの nvidia.com/gpu リソース割り当ての値を取得します。
          gpu_allocatable=$(kubectl get node "$node_name" -o jsonpath='{.status.allocatable.nvidia\.com/gpu}' 2>/dev/null)
      
          # リソース値が 0 かどうかを確認します。
          if [ "$gpu_allocatable" == "0" ]; then
              echo "Error: node=$node_name, pod=$pod_name, resource(nvidia.com/gpu) is 0"
          fi
      done

      ノードがリソースとして 0 を報告する場合は、「NVIDIA Device Plugin の再起動」をご参照ください。