Elastic GPU Service:Solución de errores XID 119/120 que provocan la desconexión de GPU

Síntomas

Una GPU se desconecta del bus y no logra inicializarse en un sistema Linux. Al ejecutar el comando sh nvidia-bug-report.sh, el registro contiene mensajes de error XID 119 o XID 120. A continuación se muestra un ejemplo de un error XID 119:

Xid (PCI:0000:69:00): 119, pid=18584, name=cache_mgr_main, Timeout waiting for RPC from GSP! Expected function 10 (FREE) (0xa55a0120 0x0).
Xid (PCI:0000:69:00): 119, pid=18584, name=cache_mgr_main, Timeout waiting for RPC from GSP! Expected function 10 (FREE) (0xa55a0030 0x0).
Xid (PCI:0000:69:00): 119, pid=18584, name=cache_mgr_main, Timeout waiting for RPC from GSP! Expected function 10 (FREE) (0xa55a0020 0x0).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x20800110 0x84).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x20800a4c 0x4).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x20800a4c 0x4).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x2080014a 0x10c).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x20800810 0x7c).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x208001a4 0x10).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x20800609 0x8).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x2080014b 0x5).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x20800157 0x0).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x2080014b 0x5).

Causa

Este problema se produce cuando el componente GPU System Processor (GSP) entra en un estado anómalo. Si el problema persiste después de actualizar al controlador de NVIDIA más reciente, deshabilite la función de GSP.

Solución

1. Conéctese a la instancia acelerada por GPU.

   Para obtener más información, consulte Connect to a Linux instance by using Workbench.

2. Ejecute los siguientes comandos para deshabilitar el componente GSP.

   sudo su
   echo options nvidia NVreg_EnableGpuFirmware=0 > /etc/modprobe.d/nvidia-gsp.conf

3. Reinicie la instancia acelerada por GPU.

   Para obtener más información, consulte Restart an instance.

4. Vuelva a conectarse a la instancia acelerada por GPU.

5. Ejecute el siguiente comando para comprobar el valor del parámetro EnableGpuFirmware.

   cat /proc/driver/nvidia/params | grep EnableGpuFirmware:

   • Si la salida es EnableGpuFirmware: 0, el componente GSP está deshabilitado y el problema quedó resuelto.

     cat /proc/driver/nvidia/params | grep EnableGpuFirmware
     EnableGpuFirmware: 0

     Nota

     Si la salida es EnableGpuFirmware: 0, el comando nvidia-smi mostrará un estado normal de la GPU.

   • Si la salida no es EnableGpuFirmware: 0, el componente GSP no se deshabilitó. Continúe con el siguiente paso para comprobar el estado de la GPU de NVIDIA.

6. Ejecute el comando nvidia-smi para comprobar el estado de la GPU de NVIDIA.

   • El problema queda resuelto si la salida del comando muestra un estado normal de la GPU. Por ejemplo, en la siguiente salida la velocidad del ventilador, la temperatura y el modo de rendimiento son normales.

     [ecs-usexxxukZ ~]$ nvidia-smi
     Wed Aug 14 11:02:11 2024
     +-----------------------------------------------------------------------------------------+
     | NVIDIA-SMI 550.90.07              Driver Version: 550.90.07      CUDA Version: 12.4     |
     |-----------------------------------------+------------------------+----------------------+
     | GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
     | Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
     |                                         |                        |               MIG M. |
     |=========================================+========================+======================|
     |   0  NVIDIA A10                     On  |   00000000:00:07.0 Off |                  Off |
     |  0%   26C    P8              9W /  150W |       1MiB /  24564MiB |      0%      Default |
     |                                         |                        |                  N/A |
     +-----------------------------------------+------------------------+----------------------+
     +-----------------------------------------------------------------------------------------+
     | Processes:                                                                              |
     |  GPU   GI   CI        PID   Type   Process name                              GPU Memory |
     |        ID   ID                                                               Usage      |
     |=========================================================================================|
     |  No running processes found                                                             |
     +-----------------------------------------------------------------------------------------+

   • Si la salida es anómala, comuníquese con el soporte técnico de Alibaba Cloud para solicitar una migración sin conexión.