Container Service for Kubernetes：GPU FAQ

為什麼叢集中GPU ECC配置不統一？

ECC（Error-Correcting Code）模式通過檢測和糾正顯存錯誤，可提升GPU的穩定性和可靠性，但啟用該模式會略微降低可用顯存容量。

ECC模式選擇建議：

• 關閉ECC：適用於成本敏感和需要低延遲推理的情境（如線上即時推理）。

• 開啟ECC：適用於對資料一致性和完整性有極高要求的應用（如資料庫伺服器、金融系統、科學計算及高效能運算HPC）。

基於以上原因，我們並未對ECC Mode進行統一初始化，因此叢集中GPU節點的ECC配置可能出現不統一的現象。

阿里雲Container Service是否支援GPU虛擬化型（vGPU）執行個體？

vGPU執行個體需要購買NVIDIA官方提供的GRID License才能正常工作。如需使用vGPU執行個體，請先向NVIDIA購買GRID License並自建License伺服器。

阿里雲不提供License伺服器，即使建立了GPU虛擬化叢集，vGPU執行個體也無法直接使用，阿里雲Container Service控制台不再支援選擇vGPU執行個體作為叢集節點。

不支援的vGPU執行個體包括以ecs.vgn5i、ecs.vgn6i、ecs.vgn7i、ecs.sgn7i為首碼的ECS執行個體。如果需要使用vGPU執行個體，請向NVIDIA購買GRID License並自建License伺服器。

如果您的License伺服器已經搭建完成，請參考以下步驟將vGPU執行個體加入ACK叢集。

將vGPU執行個體加入ACK叢集

1. 請前往權益配額，申請開放自訂系統鏡像功能。

2. 基於CentOS 7.X和Alibaba Cloud Linux 2製作自訂系統鏡像，鏡像中需要安裝NVIDIA GRID驅動並且正確配置GRID License。具體操作，請參見使用執行個體建立自訂鏡像和在GPU虛擬化型執行個體中安裝GRID驅動（Linux）。

3. 建立節點池。具體操作，請參見建立和管理節點池。

4. 將vGPU執行個體加入到步驟3建立的節點池中，具體操作，請參見添加已有節點。

後續相關步驟：更新ACK叢集中vGPU執行個體的NVIDIA驅動License

更新ACK叢集中vGPU執行個體的NVIDIA驅動License，具體操作，請參見更新ACK叢集中GPU虛擬化型（vGPU）執行個體的NVIDIA驅動License。

如何在已有叢集的GPU節點上手動升級Kernel？

1. 將GPU節點設定為不可調度（本例以節點 cn-beijing.i-2ze19qyi8votgjz12345為例）。

   kubectl cordon cn-beijing.i-2ze19qyi8votgjz12345
   
   node/cn-beijing.i-2ze19qyi8votgjz12345 already cordoned

2. 將要升級驅動的GPU節點進行排水。

   kubectl drain cn-beijing.i-2ze19qyi8votgjz12345 --grace-period=120 --ignore-daemonsets=true
   
   node/cn-beijing.i-2ze19qyi8votgjz12345 cordoned
   WARNING: Ignoring DaemonSet-managed pods: flexvolume-9scb4, kube-flannel-ds-r2qmh, kube-proxy-worker-l62sf, logtail-ds-f9vbg
   pod/nginx-ingress-controller-78d847fb96-5fkkw evicted

3. 卸載當前的NVIDIA驅動。

   說明

   本步驟中卸載的是版本為384.111的驅動包，如果您的驅動版本不是384.111，請在NVIDIA官網下載對應版本的驅動安裝包，並替換相應的版本號碼。

   1. 登入到該GPU節點，通過nvidia-smi查看驅動版本。

      sudo nvidia-smi -a | grep 'Driver Version'
      Driver Version                      : 384.111

   2. 下載NVIDIA驅動安裝包。

      cd /tmp/ && sudo curl -O https://cn.download.nvidia.cn/tesla/384.111/NVIDIA-Linux-x86_64-384.111.run

      說明

      需要在安裝包中卸載NVIDIA。

   3. 卸載當前NVIDIA驅動。

      sudo chmod u+x NVIDIA-Linux-x86_64-384.111.run
      sudo sh ./NVIDIA-Linux-x86_64-384.111.run --uninstall -a -s -q

4. 升級Kernel。

5. 重啟GPU機器。

   sudo reboot

6. 重新登入GPU節點，安裝對應的Kernel Devel。

   sudo yum install -y kernel-devel-$(uname -r)

7. 請到NVIDIA官網下載和安裝您需要的NVIDIA驅動。本文以410.79為例。

   cd /tmp/
   sudo curl -O https://cn.download.nvidia.cn/tesla/410.79/NVIDIA-Linux-x86_64-410.79.run
   sudo chmod u+x NVIDIA-Linux-x86_64-410.79.run
   sudo sh ./NVIDIA-Linux-x86_64-410.79.run -a -s -q
   
   # warm up GPU
   sudo nvidia-smi -pm 1 || true
   sudo nvidia-smi -acp 0 || true
   sudo nvidia-smi --auto-boost-default=0 || true
   sudo nvidia-smi --auto-boost-permission=0 || true
   sudo nvidia-modprobe -u -c=0 -m || true

8. 查看/etc/rc.d/rc.local，確認其中是否包含以下配置，如果沒有請手動添加。

   sudo nvidia-smi -pm 1 || true
   sudo nvidia-smi -acp 0 || true
   sudo nvidia-smi --auto-boost-default=0 || true
   sudo nvidia-smi --auto-boost-permission=0 || true
   sudo nvidia-modprobe -u -c=0 -m || true

9. 重啟kubelet和Docker。

   sudo service kubelet stop
   sudo service docker restart
   sudo service kubelet start

10. 將這個GPU節點重新設定為可調度。

    kubectl uncordon cn-beijing.i-2ze19qyi8votgjz12345
    
    node/cn-beijing.i-2ze19qyi8votgjz12345 already uncordoned

11. 在GPU節點上的Device Plugin Pod驗證版本。

    kubectl exec -n kube-system -t nvidia-device-plugin-cn-beijing.i-2ze19qyi8votgjz12345 nvidia-smi
    Thu Jan 17 00:33:27 2019
    +-----------------------------------------------------------------------------+
    | NVIDIA-SMI 410.79       Driver Version: 410.79       CUDA Version: N/A      |
    |-------------------------------+----------------------+----------------------+
    | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
    | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
    |===============================+======================+======================|
    |   0  Tesla P100-PCIE...  On   | 00000000:00:09.0 Off |                    0 |
    | N/A   27C    P0    28W / 250W |      0MiB / 16280MiB |      0%      Default |
    +-------------------------------+----------------------+----------------------+
    
    +-----------------------------------------------------------------------------+
    | Processes:                                                       GPU Memory |
    |  GPU       PID   Type   Process name                             Usage      |
    |=============================================================================|
    |  No running processes found                                                 |
    +-----------------------------------------------------------------------------+

    說明

    如果通過docker ps命令，發現GPU節點沒有容器被啟動，請參見修複GPU節點容器啟動問題。

修複GPU節點容器啟動問題

sudo service kubelet stop
Redirecting to /bin/systemctl stop kubelet.service
sudo service docker stop
Redirecting to /bin/systemctl stop docker.service
sudo service docker start
Redirecting to /bin/systemctl start docker.service
sudo service kubelet start
Redirecting to /bin/systemctl start kubelet.service

sudo docker ps
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES

sudo docker info | grep -i cgroup
Cgroup Driver: cgroupfs

您可以按照以下操作，修複該問題。

1. 備份/etc/docker/daemon.json，完成後，執行以下命令更新/etc/docker/daemon.json。

   sudo cat >/etc/docker/daemon.json <<-EOF
   {
       "default-runtime": "nvidia",
       "runtimes": {
           "nvidia": {
               "path": "/usr/bin/nvidia-container-runtime",
               "runtimeArgs": []
           }
       },
       "exec-opts": ["native.cgroupdriver=systemd"],
       "log-driver": "json-file",
       "log-opts": {
           "max-size": "100m",
           "max-file": "10"
       },
       "oom-score-adjust": -1000,
       "storage-driver": "overlay2",
       "storage-opts": ["overlay2.override_kernel_check=true"],
       "live-restore": true
   }
   EOF

2. 重啟Docker和kubelet。

   sudo service kubelet stop
   Redirecting to /bin/systemctl stop kubelet.service
   sudo service docker restart
   Redirecting to /bin/systemctl restart docker.service
   sudo service kubelet start
   Redirecting to /bin/systemctl start kubelet.service

3. 確認Docker的Cgroup Driver的類型為systemd。

   sudo docker info | grep -i cgroup
   Cgroup Driver: systemd

裸金屬執行個體節點添加失敗怎麼辦？

由於裸金屬執行個體（ecs.ebmgn7）支援開啟MIG。為避免已有MIG設定對節點部署造成影響，系統會在該類型節點每一次添加進叢集時對已有的MIG設定進行重設。由於該類型執行個體的重設時間不定，可能會出現重設時間過長的情況，從而導致添加節點指令碼運行逾時添加節點失敗。

如果該系列節點添加失敗，請在節點宿主機上執行以下命令：

sudo cat /var/log/ack-deploy.log

command timeout: timeout 300 nvidia-smi --gpu-reset

如果存在該報錯，說明添加節點失敗是由MIG的reset引起的。請重新添加該節點，詳細資料，請參見添加已有節點。

Alibaba Cloud Linux 3運行GPU容器出現Failed to initialize NVML: Unknown Error的問題怎麼辦？

sudo nvidia-smi

Failed to initialize NVML: Unknown Error

使用GPU時出現XID 119/XID 120錯誤導致GPU掉卡怎麼辦？

如何手動隔離叢集中的故障卡?

在使用共用GPU調度時，叢集中可能會出現壞卡導致任務運行失敗的情況。為防止重啟後的任務再次調度到壞卡上導致重複失敗，您可以手動標記壞卡，調度器將不再使用該卡，從而實現故障隔離。

您可以通過向叢集中提交一個特殊的ConfigMap的方式來標記故障GPU，參考以下樣本：

apiVersion: v1
kind: ConfigMap
metadata:
  name: <node-name>-device-status   # 替換 <node-name>為實際的節點名。
  namespace: kube-system
data:
  devices: |
    - deviceId: 0          #執行nvidia-smi擷取GPU序號
      deviceType: gpu
      healthy: false

ConfigMap應在kube-system命名空間中，且命名應當為故障卡所在的節點名加上-device-status尾碼。data中deviceId為通過nvidia-smi擷取的GPU序號，deviceType為gpu，healthy為false。提交配置後，調度器將隔離對應GPU卡。

運行GPU容器出現Failed to initialize NVML: Unknown Error的問題怎麼辦？

sudo nvidia-smi

Failed to initialize NVML: Unknown Error

#!/bin/bash
set -e

export CONFIG=/etc/nvidia-container-runtime/config.toml
export CONTAINER_ROOT_PATH="/run/containerd/io.containerd.runtime.v2.task/k8s.io"

if [ -f $CONFIG ];then
    # nvidia-container-runtime配置中的記錄層級由原本的info切換為"error"
	sed -i 's@^log-level = "info"@log-level = "error"@g' $CONFIG
    # 清空容器的log.json內容
	find $CONTAINER_ROOT_PATH -mindepth 2 -maxdepth 2 -name log.json -type f -exec sh -c 'echo "" > "{}"' \;
fi