GPU tidak tersedia karena ketidaksesuaian versi nvidia-fabricmanager - Elastic GPU Service

Pada instans yang dipercepat GPU, seperti ebmgn7, ebmgn7e, yang menjalankan sistem operasi Ubuntu, penginstalan layanan nvidia-fabricmanager melalui paket dapat menyebabkan layanan apt-daily memperbarui paket tersebut secara otomatis. Hal ini mengakibatkan ketidaksesuaian versi antara nvidia-fabricmanager dan Tesla driver, sehingga layanan nvidia-fabricmanager gagal dijalankan dan GPU menjadi tidak tersedia. Topik ini menjelaskan cara mengatasi masalah tersebut.

Deskripsi masalah

Setelah Anda menginstal nvidia-fabricmanager menggunakan paket instalasi, pesan error berikut muncul saat memeriksa status layanan. Dalam kasus ini, GPU tidak berfungsi sebagaimana mestinya.

root@xxx:~# systemctl status nvidia-fabricmanager
× nvidia-fabricmanager.service - NVIDIA fabric manager service
     Loaded: loaded (/lib/systemd/system/nvidia-fabricmanager.service; enabled; vendor preset: enabled)
     Active: failed (Result: exit-code) since Mon 2024-09-09 18:05:58 CST; 22s ago
    Process: 36178 ExecStart=/usr/bin/nv-fabricmanager -c /usr/share/nvidia/nvswitch/fabricmanager.cfg (code=exited, status=1/FAILURE)
        CPU: 66ms
Sep 09 18:05:58 iZ2xxx0d5fZ systemd[1]: Starting NVIDIA fabric manager service...
Sep 09 18:05:58 iZ2xxx fZ nv-fabricmanager[36180]: fabric manager NVIDIA GPU driver interface version 550.90.07 don't match with driver version 550.54.15. Please up
Sep 09 18:05:58 iZ2xxx fZ nv-fabricmanager[36180]: fabric manager NVIDIA GPU driver interface version 550.90.07 don't match with driver version 550.54.15. Please up
Sep 09 18:05:58 iZ2xxx fZ systemd[1]: nvidia-fabricmanager.service: Control process exited, code=exited, status=1/FAILURE
Sep 09 18:05:58 ixxxd5fZ systemd[1]: nvidia-fabricmanager.service: Failed with result 'exit-code'.
Sep 09 18:05:58 iZ2xxx5fZ systemd[1]: Failed to start NVIDIA fabric manager service.

Penyebab

Jika Anda menginstal nvidia-fabricmanager melalui paket instalasi pada instans komputasi yang dioptimalkan dengan percepatan GPU yang menjalankan Ubuntu, layanan apt-daily akan memperbarui nvidia-fabricmanager secara otomatis. Hal ini menyebabkan ketidaksesuaian versi antara nvidia-fabricmanager dan Tesla driver, sehingga nvidia-fabricmanager gagal dijalankan dan GPU tidak berfungsi sebagaimana mestinya.

Solusi

GPU hanya dapat berfungsi sebagaimana mestinya jika versi nvidia-fabricmanager konsisten dengan versi Tesla driver. Untuk mencegah atau mengatasi ketidaktersediaan GPU akibat ketidaksesuaian versi antara nvidia-fabricmanager dan Tesla driver, ikuti langkah-langkah berikut:

Periksa versi nvidia-fabricmanager dan versi Tesla driver.

Jalankan perintah berikut untuk memeriksa versi nvidia-fabricmanager:

sudo dpkg --list |grep nvidia-fabricmanager

Dalam contoh ini, versi nvidia-fabricmanager adalah 550.90.07. nvidia-fabricmanager-550 adalah nama paket instalasi.

ii  nvidia-fabricmanager-550                 550.90.07-1                              amd64        Fabric Manager for NVSwitch based systems.

Jalankan perintah berikut untuk memeriksa versi Tesla driver:

nvidia-smi

Dalam contoh ini, versi Tesla driver adalah 550.90.07.

NVIDIA-SMI 550.90.07        Driver Version: 550.90.07    CUDA Version: 12.4
 GPU  Name           Persistence-M | Bus-Id        Disp.A | Volatile Uncorr. ECC
 Fan  Temp  Perf     Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M.
                                   |                      |               MIG M.
======================================================================================
   0  NVIDIA A10              On  | 00000000:00:07.0 Off |                    0
  0%   35C    P8        9W / 150W |      1MiB / 23028MiB |      0%    Default |
                                   |                      |               N/A |
Processes:
  GPU   GI   CI        PID   Type   Process name            GPU Memory
        ID   ID                                             Usage
  No running processes found

Periksa apakah versi nvidia-fabricmanager saat ini konsisten dengan versi Tesla driver.
- Jika kedua versi konsisten, lanjutkan ke langkah berikutnya.
- Jika kedua versi tidak konsisten, lakukan salah satu tindakan berikut:
  - Tingkatkan versi Tesla driver agar sesuai dengan versi nvidia-fabricmanager. Untuk informasi selengkapnya, lihat Upgrade an NVIDIA Tesla driver.
  - Uninstal dan instal ulang nvidia-fabricmanager, lalu lanjutkan ke langkah berikutnya.
    Catatan
    Untuk informasi cara menguninstall nvidia-fabricmanager, lihat Step 1: Uninstall nvidia-fabricmanager.
Jalankan perintah berikut untuk mencegah nvidia-fabricmanager diperbarui secara otomatis:

Dalam contoh ini, digunakan paket instalasi nvidia-fabricmanager-550. Ganti nama paket instalasi dalam perintah dengan nama paket nvidia-fabricmanager yang sebenarnya.
```
sudo apt-mark hold nvidia-fabricmanager-550 
```
Jika hasil berikut ditampilkan, nvidia-fabricmanager telah dicegah dari pembaruan.
```
nvidia-fabricmanager-550 set on hold.
```
Jalankan perintah berikut untuk memverifikasi bahwa pembaruan terhadap nvidia-fabricmanager telah dicegah:
```
sudo apt-mark showhold
```
Jika informasi cloud-init dan nvidia-fabricmanager-550 ditampilkan, pembaruan terhadap nvidia-fabricmanager telah dicegah.