nvidia-fabricmanager版本与Tesla驱动版本不一致导致GPU无法正常使用

问题现象

采用 安装包方式 安装nvidia-fabricmanager服务后，查看该服务状态时，出现如下报错信息，该情况会导致GPU无法正常使用。

root@xxx:~# systemctl status nvidia-fabricmanager
× nvidia-fabricmanager.service - NVIDIA fabric manager service
     Loaded: loaded (/lib/systemd/system/nvidia-fabricmanager.service; enabled; vendor preset: enabled)
     Active: failed (Result: exit-code) since Mon 2024-09-09 18:05:58 CST; 22s ago
    Process: 36178 ExecStart=/usr/bin/nv-fabricmanager -c /usr/share/nvidia/nvswitch/fabricmanager.cfg (code=exited, status=1/FAILURE)
        CPU: 66ms
Sep 09 18:05:58 iZ2xxx0d5fZ systemd[1]: Starting NVIDIA fabric manager service...
Sep 09 18:05:58 iZ2xxx fZ nv-fabricmanager[36180]: fabric manager NVIDIA GPU driver interface version 550.90.07 don't match with driver version 550.54.15. Please up
Sep 09 18:05:58 iZ2xxx fZ nv-fabricmanager[36180]: fabric manager NVIDIA GPU driver interface version 550.90.07 don't match with driver version 550.54.15. Please up
Sep 09 18:05:58 iZ2xxx fZ systemd[1]: nvidia-fabricmanager.service: Control process exited, code=exited, status=1/FAILURE
Sep 09 18:05:58 ixxxd5fZ systemd[1]: nvidia-fabricmanager.service: Failed with result 'exit-code'.
Sep 09 18:05:58 iZ2xxx5fZ systemd[1]: Failed to start NVIDIA fabric manager service.

问题原因

在Ubuntu系统的GPU实例上，通过安装包方式安装了nvidia-fabricmanager服务后，由于apt-daily服务会自动更新nvidia-fabricmanager软件，使得该软件版本与Tesla驱动版本不一致，基于版本兼容性问题，导致nvidia-fabricmanager服务启动失败，最终影响GPU无法正常使用。

解决方案

nvidia-fabricmanager软件版本必须与Tesla驱动版本一致，才能确保GPU的正常运行。为了预防或解决nvidia-fabricmanager软件版本与Tesla驱动版本不一致带来的GPU无法使用问题，请参考以下操作。

1. 查看nvidia-fabricmanager软件和Tesla驱动版本信息。

   • 执行以下命令，查看nvidia-fabricmanager软件版本信息。

     sudo dpkg --list |grep nvidia-fabricmanager

     本示例以nvidia-fabricmanager软件版本为550.90.07为例，其中，nvidia-fabricmanager-550为软件包名称，550.90.07为软件版本。

     ii  nvidia-fabricmanager-550                 550.90.07-1                              amd64        Fabric Manager for NVSwitch based systems.

   • 执行以下命令，查看Tesla驱动版本信息。

     nvidia-smi

     本示例以Tesla驱动版本为550.90.07为例。

     NVIDIA-SMI 550.90.07        Driver Version: 550.90.07    CUDA Version: 12.4
      GPU  Name           Persistence-M | Bus-Id        Disp.A | Volatile Uncorr. ECC
      Fan  Temp  Perf     Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M.
                                        |                      |               MIG M.
     ======================================================================================
        0  NVIDIA A10              On  | 00000000:00:07.0 Off |                    0
       0%   35C    P8        9W / 150W |      1MiB / 23028MiB |      0%    Default |
                                        |                      |               N/A |
     Processes:
       GPU   GI   CI        PID   Type   Process name            GPU Memory
             ID   ID                                             Usage
       No running processes found

2. 确认当前nvidia-fabricmanager版本与Tesla驱动版本是否一致。

   • 如果两版本一致，继续执行下一步。

   • 如果两版本不一致，请选择以下任一方案：

     • 升级Tesla驱动确保与nvidia-fabricmanager版本保持一致。具体操作，请参见升级NVIDIA Tesla驱动。

     • 卸载当前nvidia-fabricmanager服务并重新安装后，继续执行下一步。

       说明

       如需了解如何卸载nvidia-fabricmanager服务，请参见步骤1：卸载nvidia-fabricmanager服务。

3. 执行以下命令，禁止nvidia-fabricmanager软件被自动更新或升级。

   本示例以nvidia-fabricmanager-550软件包名称为例，请替换成您实际的nvidia-fabricmanager软件包名称。

   sudo apt-mark hold nvidia-fabricmanager-550 

   显示结果如下，表示nvidia-fabricmanager软件已禁止更新。

   nvidia-fabricmanager-550 set on hold.

4. 执行以下命令，确认nvidia-fabricmanager软件更新已被锁定（hold）。

   sudo apt-mark showhold

   例如结果显示cloud-init和nvidia-fabricmanager-550信息，表示相应的软件更新已被锁定。