O compartilhamento e o agendamento de GPU em um cluster do Container Service for Kubernetes (ACK) exigem o cGPU em todos os nós com GPU. Atualize a versão do cGPU em um nó para manter o compartilhamento e o agendamento de GPU compatíveis com o driver NVIDIA, o kernel e a família de instâncias do nó.
Pré-requisitos
cGPU instalado no nó que você deseja atualizar.
kubectl instalado e configurado para acessar o cluster.
Versão do cGPU a ser instalada compatível com o nó. Para obter detalhes, consulte Compatibilidade de versões do cGPU.
Etapa 1: Atualizar o add-on do cGPU
O add-on a ser atualizado depende do tipo de cluster. Atualize o add-on correspondente ao seu cluster.
Tipo de cluster | Método de atualização do add-on |
| Atualize o add-on ack-ai-installer. Para obter instruções, consulte Upgrade the GPU sharing component. |
ACK dedicated cluster | Atualize o add-on ack-cgpu no console do ACK conforme descrito no procedimento a seguir. |
Para atualizar o add-on ack-cgpu em um ACK dedicated cluster
Faça login no ACK console. No painel de navegação à esquerda, clique em Clusters.
Na página Clusters, clique no nome do cluster. No painel de navegação à esquerda, clique em .
Na página Helm, localize o add-on ack-cgpu e clique em Update. Selecione a Version desejada e clique em OK.
Etapa 2: Atualizar o cGPU nos nós existentes
Após atualizar o add-on, atualize os nós com GPU existentes para que executem a nova versão do cGPU. Observe os pontos a seguir antes de atualizar um nó:
Cargas de trabalho de GPU: interrompa todas as cargas de trabalho de GPU no nó durante a atualização.
Ordem de implementação: atualize primeiro um único nó. Após verificar que as cargas de trabalho de GPU estão sendo executadas conforme o esperado, atualize os nós restantes em lotes.
Método 1: Remover e readicionar o nó
O Método 1 redefine o disco do sistema do nó. Se o disco do sistema contiver dados, faça backup deles antes de remover o nó.
Remover o nó e adicioná-lo novamente
Faça login no ACK console. No painel de navegação à esquerda, clique em Clusters.
Na página Clusters, clique no nome do cluster. No painel de navegação à esquerda, clique em .
Na página Nodes, selecione o nó cGPU que deseja atualizar e clique em Batch Remove. Na caixa de diálogo Remove Node, selecione Drain Node.
-
Readicione o nó removido ao pool de nós original. Para obter instruções, consulte Add existing nodes.
ImportanteAdicione o nó no modo automático. O modo manual não redefine o nó.
Verificar a versão do cGPU
-
Execute o comando a seguir para verificar o status do Pod cgpu-installer no nó readicionado.
kubectl get po -l name=cgpu-installer -n kube-system -o wideSaída de exemplo:
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES cgpu-installer-***** 1/1 Running 0 4d2h 192.168.XXX.XX1 cn-beijing.192.168.XXX.XX1 <none> <none> cgpu-installer-**2 1/1 Running 0 4d2h 192.168.XXX.XX2 cn-beijing.192.168.XXX.XX2 <none> <none> cgpu-installer-**3 1/1 Running 0 4d2h 192.168.XXX.XX3 cn-beijing.192.168.XXX.XX3 <none> <none> -
Execute o comando a seguir para acessar o Pod cgpu-installer. Substitua
cgpu-installer-xxxxxpelo nome do Pod na saída anterior.kubectl exec -ti cgpu-installer-xxxxx -n kube-system -- bash -
Execute o comando a seguir para verificar a versão atual do cGPU.
nsenter -t 1 -i -p -n -u -m -- cat /proc/cgpu_km/versionSaída de exemplo:
1.5.16NotaPara obter informações sobre a versão mais recente do cGPU, consulte ack-ai-installer.
Compatibilidade de versões do cGPU
A versão do cGPU deve ser compatível com o driver NVIDIA, a família de instâncias, o nvidia-container-toolkit e a versão do kernel do nó. Consulte a versão do cGPU que deseja instalar nas tabelas a seguir.
Compatibilidade com drivers NVIDIA
|
Versão do cGPU |
Drivers NVIDIA compatíveis |
|
1.5.20, 1.5.19, 1.5.18, 1.5.17, 1.5.16, 1.5.15, 1.5.13, 1.5.12, 1.5.11, 1.5.10, 1.5.9, 1.5.8, 1.5.7 |
Suportado: Séries 460; séries 470; séries 510; séries 515; séries 525; séries 535; séries 550; séries 560; séries 565; séries 570; séries 575. |
|
1.5.6, 1.5.5, 1.5.3, 1.5.2, 1.0.10, 1.0.9, 1.0.8, 1.0.7, 1.0.6, 1.0.5 |
Suportado: Séries 460; séries 470 <= 470.161.03; séries 510 <= 510.108.03; séries 515 <= 515.86.01; séries 525 <= 525.89.03. Não suportado: Séries 535; séries 550; séries 560; séries 565; séries 570; séries 575. |
|
1.0.3, 0.8.17, 0.8.13 |
Suportado: Séries 460; séries 470 <= 470.161.03. Não suportado: Séries 510; séries 515; séries 525; séries 535; séries 550; séries 560; séries 565; séries 570; séries 575. |
Compatibilidade com famílias de instâncias
A tabela a seguir lista a compatibilidade por família de instâncias, e não por tipo individual de instância.
|
Versão do cGPU |
Famílias de instâncias compatíveis |
|
1.5.20, 1.5.19 |
Suportado: gn6i / gn6e / gn6v / gn6t / ebmgn6i / ebmgn6t / ebmgn6e; gn7i / gn7 / gn7e / ebmgn7i / ebmgn7e; gn8t / ebmgn8t; gn8is / gn8v / ebmgn8is / ebmgn8v; gn8ia / ebmgn8ia; ebmgn9t. |
|
1.5.18, 1.5.17, 1.5.16, 1.5.15, 1.5.13, 1.5.12, 1.5.11, 1.5.10, 1.5.9 |
Suportado: gn6i / gn6e / gn6v / gn6t / ebmgn6i / ebmgn6t / ebmgn6e; gn7i / gn7 / gn7e / ebmgn7i / ebmgn7e; gn8t / ebmgn8t; gn8is / gn8v / ebmgn8is / ebmgn8v; gn8ia / ebmgn8ia. Não suportado: ebmgn9t. |
|
1.5.8, 1.5.7 |
Suportado: gn6i / gn6e / gn6v / gn6t / ebmgn6i / ebmgn6t / ebmgn6e; gn7i / gn7 / gn7e / ebmgn7i / ebmgn7e; gn8t / ebmgn8t; gn8is / gn8v / ebmgn8is / ebmgn8v. Não suportado: gn8ia / ebmgn8ia; ebmgn9t. |
|
1.5.6, 1.5.5, 1.5.3, 1.5.2, 1.0.10, 1.0.9, 1.0.8, 1.0.7, 1.0.6, 1.0.5, 1.0.3 |
Suportado: gn6i / gn6e / gn6v / gn6t / ebmgn6i / ebmgn6t / ebmgn6e; gn7i / gn7 / gn7e / ebmgn7i / ebmgn7e. Não suportado: gn8t / ebmgn8t; gn8is / gn8v / ebmgn8is / ebmgn8v; gn8ia / ebmgn8ia; ebmgn9t. |
|
0.8.17, 0.8.13 |
Suportado: gn6i / gn6e / gn6v / gn6t / ebmgn6i / ebmgn6t / ebmgn6e. Não suportado: gn7i / gn7 / gn7e / ebmgn7i / ebmgn7e; gn8t / ebmgn8t; gn8is / gn8v / ebmgn8is / ebmgn8v; gn8ia / ebmgn8ia; ebmgn9t. |
Compatibilidade com nvidia-container-toolkit
|
Versão do cGPU |
Versões compatíveis do nvidia-container-toolkit |
|
1.5.20, 1.5.19, 1.5.18, 1.5.17, 1.5.16, 1.5.15, 1.5.13, 1.5.12, 1.5.11, 1.5.10, 1.5.9, 1.5.8, 1.5.7, 1.5.6, 1.5.5, 1.5.3, 1.5.2, 1.0.10 |
Suportado: <= 1.10; 1.11 a 1.17. |
|
1.0.9, 1.0.8, 1.0.7, 1.0.6, 1.0.5, 1.0.3, 0.8.17, 0.8.13 |
Suportado: <= 1.10. Não suportado: 1.11 a 1.17. |
Compatibilidade com versões do kernel
|
Versão do cGPU |
Versões compatíveis do kernel |
|
1.5.20, 1.5.19, 1.5.18, 1.5.17, 1.5.16, 1.5.15, 1.5.13, 1.5.12, 1.5.11, 1.5.10, 1.5.9 |
Suportado: kernel 3.x; kernel 4.x; kernel 5.x <= 5.15. |
|
1.5.8 |
Suportado: kernel 3.x; kernel 4.x; kernel 5.x <= 5.10. |
|
1.5.7, 1.5.6, 1.5.5, 1.5.3, 1.5.2, 1.0.10, 1.0.9, 1.0.8, 1.0.7, 1.0.6, 1.0.5, 1.0.3 |
Suportado: kernel 3.x; kernel 4.x; kernel 5.x <= 5.1. |
|
0.8.17 |
Suportado: kernel 3.x; kernel 4.x; kernel 5.x <= 5.0. |
|
0.8.13, 0.8.12, 0.8.10 |
Suportado: kernel 3.x; kernel 4.x. Não suportado: kernel 5.x. |