Elastic GPU Service:Resolve XID 119/120 errors causing GPU drops

Sintomas

A GPU se desconecta do barramento e falha ao inicializar em sistemas Linux. Ao executar o comando sh nvidia-bug-report.sh, o log exibe mensagens de erro XID 119 ou XID 120. O exemplo abaixo ilustra um erro XID 119:

Xid (PCI:0000:69:00): 119, pid=18584, name=cache_mgr_main, Timeout waiting for RPC from GSP! Expected function 10 (FREE) (0xa55a0120 0x0).
Xid (PCI:0000:69:00): 119, pid=18584, name=cache_mgr_main, Timeout waiting for RPC from GSP! Expected function 10 (FREE) (0xa55a0030 0x0).
Xid (PCI:0000:69:00): 119, pid=18584, name=cache_mgr_main, Timeout waiting for RPC from GSP! Expected function 10 (FREE) (0xa55a0020 0x0).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x20800110 0x84).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x20800a4c 0x4).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x20800a4c 0x4).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x2080014a 0x10c).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x20800810 0x7c).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x208001a4 0x10).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x20800609 0x8).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x2080014b 0x5).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x20800157 0x0).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x2080014b 0x5).

Causa

Esse problema ocorre devido a um estado anormal do componente GPU System Processor (GSP). Caso persista após a atualização para o driver NVIDIA mais recente, desative o recurso GSP.

Solução

1. Conecte-se à instância acelerada por GPU.

   Para mais detalhes, veja Conectar-se a uma instância Linux usando o Workbench.

2. Execute os comandos abaixo para desativar o componente GSP.

   sudo su
   echo options nvidia NVreg_EnableGpuFirmware=0 > /etc/modprobe.d/nvidia-gsp.conf

3. Reinicie a instância acelerada por GPU.

   Para mais detalhes, veja Reiniciar uma instância.

4. Conecte-se novamente à instância acelerada por GPU.

5. Verifique o valor do parâmetro EnableGpuFirmware com o seguinte comando:

   cat /proc/driver/nvidia/params | grep EnableGpuFirmware:

   • Se a saída for EnableGpuFirmware: 0, o componente GSP está desativado e o problema foi resolvido.

     cat /proc/driver/nvidia/params | grep EnableGpuFirmware
     EnableGpuFirmware: 0

     Nota

     Quando a saída é EnableGpuFirmware: 0, o comando nvidia-smi relata status normal da GPU.

   • Caso a saída não seja EnableGpuFirmware: 0, o componente GSP permanece ativo. Prossiga para a próxima etapa e verifique o status da GPU NVIDIA.

6. Execute o comando nvidia-smi para validar o status da GPU NVIDIA.

   • O problema estará resolvido se a saída indicar status normal da GPU. No exemplo abaixo, velocidade do ventilador, temperatura e modo de desempenho apresentam valores normais.

     [ecs-usexxxukZ ~]$ nvidia-smi
     Wed Aug 14 11:02:11 2024
     +-----------------------------------------------------------------------------------------+
     | NVIDIA-SMI 550.90.07              Driver Version: 550.90.07      CUDA Version: 12.4     |
     |-----------------------------------------+------------------------+----------------------+
     | GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
     | Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
     |                                         |                        |               MIG M. |
     |=========================================+========================+======================|
     |   0  NVIDIA A10                     On  |   00000000:00:07.0 Off |                  Off |
     |  0%   26C    P8              9W /  150W |       1MiB /  24564MiB |      0%      Default |
     |                                         |                        |                  N/A |
     +-----------------------------------------+------------------------+----------------------+
     +-----------------------------------------------------------------------------------------+
     | Processes:                                                                              |
     |  GPU   GI   CI        PID   Type   Process name                              GPU Memory |
     |        ID   ID                                                               Usage      |
     |=========================================================================================|
     |  No running processes found                                                             |
     +-----------------------------------------------------------------------------------------+

   • Se a saída apresentar anomalias, entre em contato com o suporte técnico da Alibaba Cloud para solicitar uma migração offline.