全部产品
Search

搜索本产品

    GPU云服务器：使用GPU时出现XID 119/XID 120错误导致GPU掉卡

    文档中心

    GPU云服务器：使用GPU时出现XID 119/XID 120错误导致GPU掉卡

    更新时间：Jun 08, 2026

    在Linux系统上使用GPU时，可能会因为GPU的GSP（GPU System Processor）组件运行状态异常，导致GPU卡在初始化时提示失败（例如出现XID 119或XID 120错误信息），本文为您介绍这种情况的解决方案。

    问题现象

    使用GPU时出现GPU掉卡现象，例如在Linux系统上使用GPU时，出现GPU卡初始化失败的错误提示。执行sh nvidia-bug-report.sh nvidia-bug-report.sh命令后，在生成的日志中，可以看到XID 119或XID 120错误信息。以XID 119报错页面为例，显示如下：

    Xid (PCI:0000:69:00): 119, pid=18584, name=cache_mgr_main, Timeout waiting for RPC from GSP! Expected function 10 (FREE) (0xa55a0120 0x0).
Xid (PCI:0000:69:00): 119, pid=18584, name=cache_mgr_main, Timeout waiting for RPC from GSP! Expected function 10 (FREE) (0xa55a0030 0x0).
Xid (PCI:0000:69:00): 119, pid=18584, name=cache_mgr_main, Timeout waiting for RPC from GSP! Expected function 10 (FREE) (0xa55a0020 0x0).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x20800110 0x84).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x20800a4c 0x4).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x20800a4c 0x4).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x2080014a 0x10c).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x20800810 0x7c).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x208001a4 0x10).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x20800609 0x8).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x2080014b 0x5).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x20800157 0x0).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x2080014b 0x5).
    说明

    关于其他XID Errors的更多信息，请参见NVIDIA Common XID Errors。

    问题原因

    引起上述问题的原因可能是GPU的GSP（GPU System Processor）组件运行状态异常，升级NVIDIA最新版本驱动后，如果GPU掉卡问题仍然会复现，则建议您关闭GSP功能。

    说明

    如果您想了解更多关于GSP功能的影响详情，请参见开启或关闭GSP功能的影响。

    解决方案

    1. 远程连接GPU实例。

      具体操作，请参见使用Workbench登录Linux实例。

    2. 执行以下命令，关闭GPU的GSP组件。

      sudo su
echo options nvidia NVreg_EnableGpuFirmware=0 > /etc/modprobe.d/nvidia-gsp.conf

    3. 重启GPU实例。

      具体操作，请参见重启实例。

    4. 再次登录GPU实例。

    5. 执行以下命令，查看EnableGpuFirmware参数值。

      cat /proc/driver/nvidia/params | grep EnableGpuFirmware:

      • 如果返回结果是EnableGpuFirmware: 0，则表示GPU的GSP组件关闭，问题已修复。

        cat /proc/driver/nvidia/params | grep EnableGpuFirmware
EnableGpuFirmware: 0
        说明

        只要EnableGpuFirmware: 0 ，则执行nvidia-smi 检查GPU卡状态时，其返回结果肯定是正常的。

      • 如果返回结果不是EnableGpuFirmware: 0 ，则表示GSP组件没有关闭，请继续执行下一步确认NVIDIA GPU是否正常。

    6. 执行nvidia-smi 命令，确认NVIDIA GPU卡是否正常。

      • 如果返回结果显示GPU卡正常，例如GPU风扇转速、温度和性能模式等都正常，如下所示，则问题已解决。

        [ecs-usexxxukZ ~]$ nvidia-smi
Wed Aug 14 11:02:11 2024
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 550.90.07              Driver Version: 550.90.07      CUDA Version: 12.4     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA A10                     On  |   00000000:00:07.0 Off |                  Off |
|  0%   26C    P8              9W /  150W |       1MiB /  24564MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI        PID   Type   Process name                              GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+

      • 如果返回结果异常，表示NVIDIA GPU卡仍然存在问题，请联系阿里云运维技术人员进行关机迁移操作。