GPU unavailable from nvidia-fabricmanager version mismatch - Elastic GPU Service: Central de Documentação do Alibaba Cloud

Em instâncias aceleradas por GPU com Ubuntu, como ebmgn7, ebmgn7e, ebmgn7ex ou sccgn7ex, o serviço apt-daily pode atualizar automaticamente o pacote do nvidia-fabricmanager. Essa atualização causa incompatibilidade de versão com o driver Tesla, impede a inicialização do serviço nvidia-fabricmanager e torna a GPU indisponível. Este tópico descreve como resolver esse problema.

, ebmgn7ex ou sccgn7ex

Descrição do problema

Após instalar o nvidia-fabricmanager com um pacote de instalação, a mensagem de erro abaixo aparece ao verificar o status do serviço. Nesse caso, a GPU não funciona conforme o esperado.

root@xxx:~# systemctl status nvidia-fabricmanager
× nvidia-fabricmanager.service - NVIDIA fabric manager service
     Loaded: loaded (/lib/systemd/system/nvidia-fabricmanager.service; enabled; vendor preset: enabled)
     Active: failed (Result: exit-code) since Mon 2024-09-09 18:05:58 CST; 22s ago
    Process: 36178 ExecStart=/usr/bin/nv-fabricmanager -c /usr/share/nvidia/nvswitch/fabricmanager.cfg (code=exited, status=1/FAILURE)
        CPU: 66ms
Sep 09 18:05:58 iZ2xxx0d5fZ systemd[1]: Starting NVIDIA fabric manager service...
Sep 09 18:05:58 iZ2xxx fZ nv-fabricmanager[36180]: fabric manager NVIDIA GPU driver interface version 550.90.07 don't match with driver version 550.54.15. Please up
Sep 09 18:05:58 iZ2xxx fZ nv-fabricmanager[36180]: fabric manager NVIDIA GPU driver interface version 550.90.07 don't match with driver version 550.54.15. Please up
Sep 09 18:05:58 iZ2xxx fZ systemd[1]: nvidia-fabricmanager.service: Control process exited, code=exited, status=1/FAILURE
Sep 09 18:05:58 ixxxd5fZ systemd[1]: nvidia-fabricmanager.service: Failed with result 'exit-code'.
Sep 09 18:05:58 iZ2xxx5fZ systemd[1]: Failed to start NVIDIA fabric manager service.

Causa

Ao instalar o nvidia-fabricmanager via pacote em uma instância otimizada para computação acelerada por GPU com Ubuntu, o serviço apt-daily atualiza o componente automaticamente. Isso gera inconsistência de versão entre o nvidia-fabricmanager e o driver Tesla. Como resultado, o nvidia-fabricmanager falha na inicialização e a GPU deixa de funcionar corretamente.

Solução

A GPU funciona adequadamente apenas quando a versão do nvidia-fabricmanager é compatível com a do driver Tesla. Para prevenir ou corrigir a indisponibilidade da GPU causada por incompatibilidade de versões, execute as etapas a seguir:

Verifique as versões do nvidia-fabricmanager e do driver Tesla.

Execute o comando a seguir para consultar a versão do nvidia-fabricmanager:
```
sudo dpkg --list |grep nvidia-fabricmanager
```
Neste exemplo, a versão do nvidia-fabricmanager é 550.90.07. nvidia-fabricmanager-550 é o nome do pacote de instalação.
```
ii  nvidia-fabricmanager-550                 550.90.07-1                              amd64        Fabric Manager for NVSwitch based systems.
```

Execute o comando abaixo para verificar a versão do driver Tesla:

nvidia-smi

Neste exemplo, a versão do driver Tesla é 550.90.07.

NVIDIA-SMI 550.90.07        Driver Version: 550.90.07    CUDA Version: 12.4
 GPU  Name           Persistence-M | Bus-Id        Disp.A | Volatile Uncorr. ECC
 Fan  Temp  Perf     Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M.
                                   |                      |               MIG M.
======================================================================================
   0  NVIDIA A10              On  | 00000000:00:07.0 Off |                    0
  0%   35C    P8        9W / 150W |      1MiB / 23028MiB |      0%    Default |
                                   |                      |               N/A |
Processes:
  GPU   GI   CI        PID   Type   Process name            GPU Memory
        ID   ID                                             Usage
  No running processes found

Verifique se a versão atual do nvidia-fabricmanager é compatível com a do driver Tesla.
- Se as versões forem compatíveis, avance para a próxima etapa.
- Se houver incompatibilidade entre as versões, execute uma das seguintes ações:
  - Atualize o driver Tesla para garantir que sua versão seja compatível com a do nvidia-fabricmanager. Para mais informações, consulte Atualizar um driver NVIDIA Tesla.
  - Desinstale e reinstale o nvidia-fabricmanager. Em seguida, prossiga para a próxima etapa.
    
    Nota
    Para obter instruções sobre como desinstalar o nvidia-fabricmanager, consulte Etapa 1: Desinstalar o nvidia-fabricmanager.
Execute o comando a seguir para impedir atualizações automáticas do nvidia-fabricmanager:

Este exemplo usa o pacote nvidia-fabricmanager-550. Substitua o nome do pacote no comando pelo nome real do seu pacote nvidia-fabricmanager.
```
sudo apt-mark hold nvidia-fabricmanager-550 
```
Se o resultado abaixo for exibido, as atualizações do nvidia-fabricmanager foram bloqueadas.
```
nvidia-fabricmanager-550 set on hold.
```
Execute o comando a seguir para verificar se as atualizações do nvidia-fabricmanager estão bloqueadas:
```
sudo apt-mark showhold
```
Se as informações sobre cloud-init e nvidia-fabricmanager-550 aparecerem na saída, as atualizações do nvidia-fabricmanager estão bloqueadas.