Elastic GPU Service:Resolve XID 119/120 errors causing GPU drops

Symptômes

Un GPU se déconnecte du bus et ne parvient pas à s'initialiser sur un système Linux. Lorsque vous exécutez la commande sh nvidia-bug-report.sh, le journal contient des messages d'erreur XID 119 ou XID 120. L'exemple suivant illustre une erreur XID 119 :

Xid (PCI:0000:69:00): 119, pid=18584, name=cache_mgr_main, Timeout waiting for RPC from GSP! Expected function 10 (FREE) (0xa55a0120 0x0).
Xid (PCI:0000:69:00): 119, pid=18584, name=cache_mgr_main, Timeout waiting for RPC from GSP! Expected function 10 (FREE) (0xa55a0030 0x0).
Xid (PCI:0000:69:00): 119, pid=18584, name=cache_mgr_main, Timeout waiting for RPC from GSP! Expected function 10 (FREE) (0xa55a0020 0x0).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x20800110 0x84).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x20800a4c 0x4).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x20800a4c 0x4).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x2080014a 0x10c).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x20800810 0x7c).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x208001a4 0x10).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x20800609 0x8).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x2080014b 0x5).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x20800157 0x0).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x2080014b 0x5).

Cause

Ce problème est dû à un état anormal du composant GPU System Processor (GSP). Si le problème persiste après la mise à jour vers la dernière version du pilote NVIDIA, vous devez désactiver la fonctionnalité GSP.

Solution

1. Connectez-vous à l'instance accélérée par GPU.

   Pour plus d'informations, consultez la rubrique Se connecter à une instance Linux à l'aide de Workbench.

2. Exécutez les commandes suivantes pour désactiver le composant GSP.

   sudo su
   echo options nvidia NVreg_EnableGpuFirmware=0 > /etc/modprobe.d/nvidia-gsp.conf

3. Redémarrez l'instance accélérée par GPU.

   Pour plus d'informations, consultez la rubrique Redémarrer une instance.

4. Reconnectez-vous à l'instance accélérée par GPU.

5. Exécutez la commande suivante pour vérifier la valeur du paramètre EnableGpuFirmware.

   cat /proc/driver/nvidia/params | grep EnableGpuFirmware:

   • Si la sortie affiche EnableGpuFirmware: 0, le composant GSP est désactivé et le problème est résolu.

     cat /proc/driver/nvidia/params | grep EnableGpuFirmware
     EnableGpuFirmware: 0

     Remarque

     Si la sortie affiche EnableGpuFirmware: 0, la commande nvidia-smi indiquera un statut normal du GPU.

   • Si la sortie n'affiche pas EnableGpuFirmware: 0, le composant GSP n'est pas désactivé. Passez à l'étape suivante pour vérifier l'état du GPU NVIDIA.

6. Exécutez la commande nvidia-smi pour vérifier l'état du GPU NVIDIA.

   • Le problème est résolu si la sortie de la commande indique un statut normal du GPU. Par exemple, la vitesse du ventilateur, la température et le mode de performance sont normaux dans la sortie suivante.

     [ecs-usexxxukZ ~]$ nvidia-smi
     Wed Aug 14 11:02:11 2024
     +-----------------------------------------------------------------------------------------+
     | NVIDIA-SMI 550.90.07              Driver Version: 550.90.07      CUDA Version: 12.4     |
     |-----------------------------------------+------------------------+----------------------+
     | GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
     | Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
     |                                         |                        |               MIG M. |
     |=========================================+========================+======================|
     |   0  NVIDIA A10                     On  |   00000000:00:07.0 Off |                  Off |
     |  0%   26C    P8              9W /  150W |       1MiB /  24564MiB |      0%      Default |
     |                                         |                        |                  N/A |
     +-----------------------------------------+------------------------+----------------------+
     +-----------------------------------------------------------------------------------------+
     | Processes:                                                                              |
     |  GPU   GI   CI        PID   Type   Process name                              GPU Memory |
     |        ID   ID                                                               Usage      |
     |=========================================================================================|
     |  No running processes found                                                             |
     +-----------------------------------------------------------------------------------------+

   • Si la sortie est anormale, contactez le support technique Alibaba Cloud pour demander une migration hors ligne.