Container Service for Kubernetes：Mengonfigurasi dan mengelola komponen ack-nvidia-device-plugin

Lihat versi NVIDIA Device Plugin

kubectl get pods -n kube-system -l component=nvidia-device-plugin \
  -o jsonpath='{range .items[*]}{.spec.containers[0].image}{"\t"}{.spec.nodeName}{"\n"}{end}' \
  | awk -F'[:/]' '{split($NF, a, "-"); print a[1] "\t" $0}' \
  | sort -k1,1V \
  | cut -f2- \
  | awk -F'\t' '{split($1, img, ":"); print img[NF] "\t" $2}'

1. Tingkatkan komponen ack-nvidia-device-plugin.

   Untuk versi kluster 1.32 dan lebih baru

   1. Masuk ke Konsol ACK. Di panel navigasi sebelah kiri, klik Clusters.

   2. Di halaman Clusters, temukan kluster yang Anda inginkan dan klik namanya. Di panel sebelah kiri, pilih Operations > Add-ons.

   3. Di halaman Pengelolaan Komponen, cari komponen ack-nvidia-device-plugin dan klik Upgrade pada kartunya.

   4. Pada kotak dialog yang muncul, klik OK.

   Untuk versi kluster dari 1.20 hingga 1.31

   1. Di halaman Clusters, klik nama kluster yang ingin Anda ubah. Di panel navigasi sebelah kiri, pilih Nodes > Nodes.

   2. Pilih node GPU tempat Anda ingin melakukan operasi batch. Di bawah daftar node, klik Batch Operations. Di kotak dialog Batch Operations, pilih Execute Shell Command dan klik OK.

      Penting

      Pertama-tama, pilih sejumlah kecil node GPU untuk ditingkatkan. Setelah Anda memverifikasi bahwa Device Plugin berfungsi sebagaimana mestinya pada node-node tersebut, lakukan operasi pada batch node yang lebih besar.

   3. Anda akan diarahkan ke antarmuka OOS. Atur Execution Mode menjadi Pause On Failure, lalu klik Next: Set Parameters.

   4. Di halaman Set Parameters, pilih Run Shell Script dan tempel skrip contoh berikut.

      Catatan

      Dalam skrip, ubah parameter RUN_PKG_VERSION menjadi versi utama kluster Anda, misalnya 1.30. Jangan masukkan versi minor, seperti 1.30.1. Jika tidak, skrip akan gagal.

      #!/bin/bash
      set -e
      
      RUN_PKG_VERSION=1.30
      
      function update_device_plugin() {
      	base_dir=/tmp/update_device_plugin
      	rm -rf $base_dir
      	mkdir -p $base_dir
      	cd $base_dir
      	region_id=$(curl -ssL 100.100.100.200/latest/meta-data/region-id  2> /dev/null || echo "")
      	if [[ $region_id == "" ]]; then
      		echo "Error: failed to get region id,region id is null"
      		exit 1
      	fi
      	PKG_URL=https://aliacs-k8s-${region_id}.oss-${region_id}.aliyuncs.com/public/pkg/run/run-${RUN_PKG_VERSION}.tar.gz
      	curl -sSL --retry 3 --retry-delay 2 -o run.tar.gz $PKG_URL
      	tar -xf run.tar.gz
      
      	local dir=pkg/run/$RUN_PKG_VERSION/module
      	sed -i "s@registry.cn-hangzhou.aliyuncs.com/acs@registry-${region_id}-vpc.ack.aliyuncs.com/acs@g" $dir/nvidia-device-plugin.yml
      	mkdir -p /etc/kubernetes/device-plugin-backup
      	mkdir -p /etc/kubernetes/manifests
      	mv  /etc/kubernetes/manifests/nvidia-device-plugin.yml /etc/kubernetes/device-plugin-backup/nvidia-device-plugin.yml.$(date +%s)
      	sleep 5
      	cp -a $dir/nvidia-device-plugin.yml /etc/kubernetes/manifests
      	echo "succeeded to update device plugin"
      }
      
      if [ -f /etc/kubernetes/manifests/nvidia-device-plugin.yml ]; then
      	update_device_plugin
      else
      	echo "skip to update device plugin"
      fi

   5. Klik Next: Confirm. Setelah Anda mengonfirmasi informasi tersebut, klik Create.

      Setelah tugas dibuat, Anda akan diarahkan ke halaman Task Execution Management tempat Anda dapat melihat status tugas. Jika Execution Output menampilkan succeeded to update device plugin, pembaruan berhasil.

2. Periksa apakah komponen berjalan sebagaimana mestinya.

   Jalankan perintah berikut untuk memeriksa apakah Device Plugin berfungsi sebagaimana mestinya pada node GPU.

   1. Hubungkan ke kluster menggunakan kubectl di Workbench atau CloudShell.

   2. Jalankan perintah berikut untuk memeriksa apakah NVIDIA Device Plugin telah dimulai ulang:

      kubectl get po -n kube-system -l component=nvidia-device-plugin 

      Contoh keluaran:

      NAME                             READY   STATUS    RESTARTS      AGE
      nvidia-device-plugin-xxxx        1/1     Running   1             1m

   3. Setelah semua Pod dimulai ulang, jalankan skrip berikut untuk memeriksa apakah node melaporkan sumber daya GPU:

      #!/bin/bash
      
      # Get all eligible NVIDIA Device Plugin Pods and the nodes where they are located.
      PODS=$(kubectl get po -n kube-system -l component=nvidia-device-plugin -o jsonpath='{range .items[*]}{.metadata.name}{"\t"}{.spec.nodeName}{"\n"}{end}')
      
      # Iterate over the node of each Pod.
      echo "$PODS" | while IFS=$'\t' read -r pod_name node_name; do
          # Get the value of nvidia.com/gpu resource allocation for the node.
          gpu_allocatable=$(kubectl get node "$node_name" -o jsonpath='{.status.allocatable.nvidia\.com/gpu}' 2>/dev/null)
      
          # Check if the resource value is 0.
          if [ "$gpu_allocatable" == "0" ]; then
              echo "Error: node=$node_name, pod=$pod_name, resource(nvidia.com/gpu) is 0"
          fi
      done

      Jika sebuah node melaporkan nilai 0 untuk sumber daya tersebut, lihat Restart the NVIDIA Device Plugin.