Atasi error XID 119/120 yang menyebabkan GPU drop - Elastic GPU Service

Pada instans GPU-accelerated Linux, masalah pada komponen GPU System Processor (GSP) dapat menyebabkan GPU gagal melakukan inisialisasi dan menghasilkan pesan error XID 119 atau XID 120. Topik ini menjelaskan cara mengatasi masalah tersebut.

Symptoms

GPU terputus dari bus dan gagal melakukan inisialisasi pada sistem Linux. Saat Anda menjalankan perintah sh nvidia-bug-report.sh, log berisi pesan error XID 119 atau XID 120. Contoh berikut menunjukkan error XID 119:

Xid (PCI:0000:69:00): 119, pid=18584, name=cache_mgr_main, Timeout waiting for RPC from GSP! Expected function 10 (FREE) (0xa55a0120 0x0).
Xid (PCI:0000:69:00): 119, pid=18584, name=cache_mgr_main, Timeout waiting for RPC from GSP! Expected function 10 (FREE) (0xa55a0030 0x0).
Xid (PCI:0000:69:00): 119, pid=18584, name=cache_mgr_main, Timeout waiting for RPC from GSP! Expected function 10 (FREE) (0xa55a0020 0x0).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x20800110 0x84).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x20800a4c 0x4).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x20800a4c 0x4).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x2080014a 0x10c).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x20800810 0x7c).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x208001a4 0x10).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x20800609 0x8).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x2080014b 0x5).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x20800157 0x0).
Xid (PCI:0000:69:00): 119, pid=25394, name=nvidia-smi, Timeout waiting for RPC from GSP! Expected function 76 (GSP_RM_CONTROL) (0x2080014b 0x5).

Catatan

Untuk informasi lebih lanjut mengenai error XID lainnya, lihat NVIDIA Common XID Errors.

Cause

Status abnormal pada komponen GPU System Processor (GSP) menyebabkan masalah ini. Jika masalah tetap terjadi setelah Anda memperbarui ke driver NVIDIA terbaru, nonaktifkan fitur GSP.

Catatan

Untuk informasi lebih lanjut mengenai dampak fitur GSP, lihat Impact of enabling or disabling the GSP feature.

Solution

Lakukan koneksi ke instans GPU-accelerated.

Untuk informasi lebih lanjut, lihat Connect to a Linux instance by using Workbench.

Jalankan perintah berikut untuk menonaktifkan komponen GSP.

sudo su
echo options nvidia NVreg_EnableGpuFirmware=0 > /etc/modprobe.d/nvidia-gsp.conf

Restart instans GPU-accelerated.

Untuk informasi selengkapnya, lihat Mulai Ulang Instans.
Lakukan koneksi kembali ke instans GPU-accelerated.
Jalankan perintah berikut untuk memeriksa nilai parameter EnableGpuFirmware.
```
cat /proc/driver/nvidia/params | grep EnableGpuFirmware:
```
- Jika output-nya adalah EnableGpuFirmware: 0, komponen GSP telah dinonaktifkan dan masalah telah teratasi.
```
cat /proc/driver/nvidia/params | grep EnableGpuFirmware
EnableGpuFirmware: 0
```
  Catatan
  Jika output-nya adalah EnableGpuFirmware: 0, perintah nvidia-smi akan menampilkan status GPU yang normal.
- Jika output-nya bukan EnableGpuFirmware: 0, komponen GSP belum dinonaktifkan. Lanjutkan ke langkah berikutnya untuk memverifikasi status GPU NVIDIA.

Jalankan perintah nvidia-smi untuk memverifikasi status GPU NVIDIA.

Masalah telah teratasi jika output perintah menunjukkan status GPU yang normal. Sebagai contoh, kecepatan kipas, suhu, dan mode performa normal seperti pada output berikut.

[ecs-usexxxukZ ~]$ nvidia-smi
Wed Aug 14 11:02:11 2024
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 550.90.07              Driver Version: 550.90.07      CUDA Version: 12.4     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA A10                     On  |   00000000:00:07.0 Off |                  Off |
|  0%   26C    P8              9W /  150W |       1MiB /  24564MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI        PID   Type   Process name                              GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+

Jika output-nya tidak normal, hubungi dukungan teknis Alibaba Cloud untuk meminta migrasi offline.