Container Service for Kubernetes：FAQ GPU

Mengapa konfigurasi ECC GPU dalam kluster saya tidak konsisten?

Mode Error-Correcting Code (ECC) meningkatkan stabilitas dan keandalan GPU dengan mendeteksi serta memperbaiki galat memori GPU. Namun, mengaktifkan mode ini sedikit mengurangi memori GPU yang tersedia.

Rekomendasi mode ECC:

• Nonaktifkan ECC: Cocok untuk skenario sensitif biaya dan inferensi latensi rendah, seperti inferensi real-time online.

• Aktifkan ECC: Cocok untuk aplikasi yang memerlukan konsistensi dan integritas data tinggi, seperti server database, sistem keuangan, komputasi ilmiah, dan komputasi kinerja tinggi (HPC).

Karena alasan tersebut, kami tidak menginisialisasi mode ECC secara seragam. Hal ini dapat menyebabkan konfigurasi ECC yang tidak konsisten di seluruh node GPU dalam sebuah kluster.

Apakah Container Service for Kubernetes mendukung instans vGPU-dipercepat?

Instans vGPU-dipercepat memerlukan lisensi GRID dari NVIDIA agar berfungsi dengan benar. Untuk menggunakan instans vGPU-dipercepat, Anda harus membeli lisensi GRID dari NVIDIA dan membangun server lisensi sendiri.

Karena Alibaba Cloud tidak menyediakan server lisensi, instans vGPU-dipercepat tidak dapat digunakan secara langsung, bahkan dalam kluster yang dipercepat vGPU. Oleh karena itu, konsol Container Service for Kubernetes tidak lagi mendukung pemilihan instans vGPU-dipercepat sebagai node kluster.

Instans vGPU-dipercepat yang tidak didukung mencakup instans ECS dengan awalan seperti ecs.vgn5i, ecs.vgn6i, ecs.vgn7i, dan ecs.sgn7i. Untuk menggunakan instans ini, Anda harus membeli lisensi GRID dari NVIDIA dan membangun server lisensi sendiri.

Jika Anda telah menyiapkan server lisensi, Anda dapat mengikuti langkah-langkah berikut untuk menambahkan instans vGPU-dipercepat ke kluster ACK.

Tambahkan instans vGPU-dipercepat ke kluster ACK

1. Buka Kuota Hak Istimewa dan ajukan fitur citra OS kustom.

2. Buat citra OS kustom berdasarkan CentOS 7.x atau Alibaba Cloud Linux 2. Citra tersebut harus memiliki driver NVIDIA GRID yang terinstal dan lisensi GRID yang dikonfigurasi dengan benar. Untuk informasi lebih lanjut, lihat Buat citra kustom dari instans dan Instal driver GRID pada instans vGPU-dipercepat (Linux).

3. Buat kelompok node. Untuk informasi lebih lanjut, lihat Buat dan kelola kelompok node.

4. Tambahkan instans vGPU-dipercepat ke kelompok node yang dibuat pada Langkah 3. Untuk informasi lebih lanjut, lihat Tambahkan node yang sudah ada.

Next step: Update the NVIDIA driver license for vGPU-accelerated instances in an ACK cluster

Untuk informasi tentang cara memperbarui lisensi driver NVIDIA untuk instans vGPU-dipercepat dalam kluster ACK, lihat Perbarui lisensi driver NVIDIA untuk instans vGPU-dipercepat (vGPU) dalam kluster ACK.

Cara memperbarui kernel secara manual pada node GPU dalam kluster yang sudah ada

1. Tetapkan node GPU ke status tidak dapat dijadwalkan. Contoh ini menggunakan node cn-beijing.i-2ze19qyi8votgjz12345.

   kubectl cordon cn-beijing.i-2ze19qyi8votgjz12345
   
   node/cn-beijing.i-2ze19qyi8votgjz12345 already cordoned

2. Kosongkan node GPU tempat Anda ingin memperbarui driver.

   kubectl drain cn-beijing.i-2ze19qyi8votgjz12345 --grace-period=120 --ignore-daemonsets=true
   
   node/cn-beijing.i-2ze19qyi8votgjz12345 cordoned
   WARNING: Ignoring DaemonSet-managed pods: flexvolume-9scb4, kube-flannel-ds-r2qmh, kube-proxy-worker-l62sf, logtail-ds-f9vbg
   pod/nginx-ingress-controller-78d847fb96-5fkkw evicted

3. Uninstall driver NVIDIA saat ini.

   Catatan

   Langkah ini meng-uninstall driver versi 384.111. Jika versi driver Anda berbeda, unduh paket instalasi driver yang sesuai dari situs web NVIDIA dan ganti nomor versinya sesuai kebutuhan.

   1. Login ke node GPU dan jalankan nvidia-smi untuk memeriksa versi driver.

      sudo nvidia-smi -a | grep 'Driver Version'
      Driver Version                      : 384.111

   2. Unduh paket instalasi driver NVIDIA.

      sudo cd /tmp/
      sudo curl -O https://cn.download.nvidia.cn/tesla/384.111/NVIDIA-Linux-x86_64-384.111.run

      Catatan

      Anda harus menggunakan paket instalasi ini untuk meng-uninstall driver NVIDIA.

   3. Uninstall driver NVIDIA saat ini.

      sudo chmod u+x NVIDIA-Linux-x86_64-384.111.run
      sudo sh ./NVIDIA-Linux-x86_64-384.111.run --uninstall -a -s -q

4. Perbarui kernel.

5. Restart instans GPU.

   sudo reboot

6. Login kembali ke node GPU dan instal paket kernel-devel yang sesuai.

   sudo yum install -y kernel-devel-$(uname -r)

7. Buka situs web NVIDIA untuk mengunduh dan menginstal driver NVIDIA yang diperlukan. Contoh ini menggunakan versi 410.79.

   sudo cd /tmp/
   sudo curl -O https://cn.download.nvidia.cn/tesla/410.79/NVIDIA-Linux-x86_64-410.79.run
   sudo chmod u+x NVIDIA-Linux-x86_64-410.79.run
   sudo sh ./NVIDIA-Linux-x86_64-410.79.run -a -s -q
   
   # warm up GPU
   sudo nvidia-smi -pm 1 || true
   sudo nvidia-smi -acp 0 || true
   sudo nvidia-smi --auto-boost-default=0 || true
   sudo nvidia-smi --auto-boost-permission=0 || true
   sudo nvidia-modprobe -u -c=0 -m || true

8. Periksa file /etc/rc.d/rc.local untuk memastikan berisi konfigurasi berikut. Jika tidak, tambahkan secara manual.

   sudo nvidia-smi -pm 1 || true
   sudo nvidia-smi -acp 0 || true
   sudo nvidia-smi --auto-boost-default=0 || true
   sudo nvidia-smi --auto-boost-permission=0 || true
   sudo nvidia-modprobe -u -c=0 -m || true

9. Restart kubelet dan Docker.

   sudo service kubelet stop
   sudo service docker restart
   sudo service kubelet start

10. Tetapkan kembali node GPU ke status dapat dijadwalkan.

    kubectl uncordon cn-beijing.i-2ze19qyi8votgjz12345
    
    node/cn-beijing.i-2ze19qyi8votgjz12345 already uncordoned

11. Verifikasi versi driver dalam pod device plugin pada node GPU.

    kubectl exec -n kube-system -t nvidia-device-plugin-cn-beijing.i-2ze19qyi8votgjz12345 nvidia-smi
    Thu Jan 17 00:33:27 2019
    +-----------------------------------------------------------------------------+
    | NVIDIA-SMI 410.79       Driver Version: 410.79       CUDA Version: N/A      |
    |-------------------------------+----------------------+----------------------+
    | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
    | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
    |===============================+======================+======================|
    |   0  Tesla P100-PCIE...  On   | 00000000:00:09.0 Off |                    0 |
    | N/A   27C    P0    28W / 250W |      0MiB / 16280MiB |      0%      Default |
    +-------------------------------+----------------------+----------------------+
    
    +-----------------------------------------------------------------------------+
    | Processes:                                                       GPU Memory |
    |  GPU       PID   Type   Process name                             Usage      |
    |=============================================================================|
    |  No running processes found                                                 |
    +-----------------------------------------------------------------------------+

    Catatan

    Jika Anda menjalankan perintah docker ps dan menemukan bahwa tidak ada kontainer yang dimulai pada node GPU, lihat Perbaiki isu startup kontainer pada node GPU.

Perbaiki isu startup kontainer pada node GPU

sudo service kubelet stop
Redirecting to /bin/systemctl stop kubelet.service
sudo service docker stop
Redirecting to /bin/systemctl stop docker.service
sudo service docker start
Redirecting to /bin/systemctl start docker.service
sudo service kubelet start
Redirecting to /bin/systemctl start kubelet.service

sudo docker ps
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES

sudo docker info | grep -i cgroup
Cgroup Driver: cgroupfs

Ikuti langkah-langkah berikut untuk memperbaiki isu tersebut.

1. Buat cadangan file /etc/docker/daemon.json. Kemudian, jalankan perintah berikut untuk memperbarui /etc/docker/daemon.json.

   sudo cat >/etc/docker/daemon.json <<-EOF
   {
       "default-runtime": "nvidia",
       "runtimes": {
           "nvidia": {
               "path": "/usr/bin/nvidia-container-runtime",
               "runtimeArgs": []
           }
       },
       "exec-opts": ["native.cgroupdriver=systemd"],
       "log-driver": "json-file",
       "log-opts": {
           "max-size": "100m",
           "max-file": "10"
       },
       "oom-score-adjust": -1000,
       "storage-driver": "overlay2",
       "storage-opts": ["overlay2.override_kernel_check=true"],
       "live-restore": true
   }
   EOF

2. Restart Docker dan kubelet.

   sudo service kubelet stop
   Redirecting to /bin/systemctl stop kubelet.service
   sudo service docker restart
   Redirecting to /bin/systemctl restart docker.service
   sudo service kubelet start
   Redirecting to /bin/systemctl start kubelet.service

3. Konfirmasi bahwa driver Cgroup untuk Docker adalah systemd.

   sudo docker info | grep -i cgroup
   Cgroup Driver: systemd

Apa yang harus saya lakukan jika penambahan node ECS Bare Metal Instance gagal?

Instans ECS Bare Metal (ecs.ebmgn7) mendukung multi-instans GPU (MIG). Untuk mencegah pengaturan MIG yang sudah ada memengaruhi penerapan node, sistem mereset semua pengaturan MIG yang ada setiap kali node jenis ini ditambahkan ke kluster. Waktu reset ini bervariasi. Jika reset memakan waktu terlalu lama, skrip penambahan node mungkin timeout, sehingga operasi gagal.

Jika penambahan node dari keluarga instans ini gagal, Anda dapat menjalankan perintah berikut pada host node:

sudo cat /var/log/ack-deploy.log

command timeout: timeout 300 nvidia-smi --gpu-reset

Jika galat ini muncul, kegagalan disebabkan oleh reset MIG. Anda dapat menambahkan kembali node tersebut. Untuk informasi lebih lanjut, lihat Tambahkan node yang sudah ada.

Apa yang harus saya lakukan jika muncul "Failed to initialize NVML: Unknown Error" saat menjalankan kontainer GPU pada Alibaba Cloud Linux 3?

sudo nvidia-smi

Failed to initialize NVML: Unknown Error

Apa yang harus saya lakukan jika kartu GPU menjadi tidak tersedia akibat galat XID 119 atau XID 120?

Cara mengisolasi GPU rusak secara manual dalam kluster?

Saat Anda menggunakan penjadwalan GPU bersama, GPU rusak dalam kluster dapat menyebabkan Job gagal. Jika Job dijalankan ulang, Job tersebut mungkin dijadwalkan ke GPU rusak yang sama dan gagal lagi. Untuk mencegah kegagalan berulang, Anda dapat menandai GPU rusak tersebut secara manual. Penjadwal tidak akan lagi menggunakan GPU yang ditandai, sehingga memberikan isolasi kesalahan.

Untuk menandai GPU rusak, Anda dapat mengirimkan ConfigMap khusus ke kluster seperti pada contoh berikut:

apiVersion: v1
kind: ConfigMap
metadata:
  name: <node-name>-device-status   # Ganti <node-name> dengan nama node sebenarnya.
  namespace: kube-system
data:
  devices: |
    - deviceId: 0          # Jalankan nvidia-smi untuk mendapatkan nomor ordinal GPU.
      deviceType: gpu
      healthy: false

ConfigMap harus berada dalam namespace kube-system. Nama ConfigMap harus berupa nama node yang meng-host GPU rusak, dengan akhiran -device-status. Di bidang data, deviceId adalah nomor ordinal GPU yang diperoleh dari perintah nvidia-smi, deviceType adalah gpu, dan healthy adalah false. Setelah Anda mengirimkan konfigurasi tersebut, penjadwal akan mengisolasi GPU yang sesuai.

Atasi pesan "Failed to initialize NVML: Unknown Error" dalam kontainer GPU

sudo nvidia-smi

Failed to initialize NVML: Unknown Error

#!/bin/bash
set -e

export CONFIG=/etc/nvidia-container-runtime/config.toml
export CONTAINER_ROOT_PATH="/run/containerd/io.containerd.runtime.v2.task/k8s.io"

if [ -f $CONFIG ];then
    # Ubah tingkat log dalam konfigurasi nvidia-container-runtime dari "info" menjadi "error".
	sed -i 's@^log-level = "info"@log-level = "error"@g' $CONFIG
    # Kosongkan isi file log.json kontainer.
	find $CONTAINER_ROOT_PATH -mindepth 2 -maxdepth 2 -name log.json -type f -exec sh -c 'echo "" > "{}"' \;
fi