A partir da versão 535 do driver Tesla, a NVIDIA descontinuou o método nvidia-smi -pm 1 para ativar o Persistence Mode. Configurações aplicadas com nvidia-smi -pm 1 não são preservadas entre reinicializações em instâncias com o driver Tesla 535 ou superior. Por isso, o Persistence Mode, o status ECC e a configuração de GPU de múltiplas instâncias (MIG) revertem após a reinicialização. Os três problemas têm a mesma causa raiz: o mecanismo legado do Persistence Mode não mantém mais a GPU inicializada nas versões recentes do driver.
Para corrigir, adote o NVIDIA Persistence Daemon (nvidia-persistenced), que é o substituto compatível.
Confirme o problema
Execute o comando a seguir para verificar os logs do kernel:
dmesg | grep -i persistence
Se a saída contiver a mensagem abaixo, sua instância é afetada:
NVRM: Persistence mode is deprecated and will be removed in a future release. Please use nvidia-persistenced instead.
Solução
Siga a etapa "Ative o Persistence Mode usando o NVIDIA Persistence Daemon" no tópico Instale manualmente o driver Tesla em uma instância Linux otimizada para computação acelerada por GPU para migrar de nvidia-smi -pm 1 para nvidia-persistenced.
Após concluir as etapas desse guia, o Persistence Mode, o status ECC e a configuração MIG serão preservados entre as reinicializações da instância.