Container Service for Kubernetes oferece o recurso de compartilhamento de GPU, que permite a vários modelos de previsão compartilhar uma única GPU e suporta isolamento de memória da GPU com base no driver de modo kernel da NVIDIA. Este tópico descreve como instale o componente ack-cgpu, utilizado para compartilhar GPUs, isolar memória da GPU e consultar informações de alocação de GPU.
Pré-requisitos
Crie um cluster dedicado do ACK com nós acelerados por GPU. Para mais informações, consulte Criar um cluster do ACK com nós acelerados por GPU.
Conecte um cliente kubectl ao cluster. Para mais informações, consulte Obter o arquivo kubeconfig de um cluster e usar o kubectl para conectar-se ao cluster.
Limites
Não defina a política de CPU como static para nós com compartilhamento de GPU ativado.
A tabela a seguir descreve outros limites.
|
Item |
Requisito |
|
Kubernetes |
Kubernetes 1.12.6 ou posterior |
|
Sistema operacional |
Sistemas operacionais compatíveis com o ACK, exceto Windows |
|
Modelo de GPU |
Para mais informações sobre os modelos de GPU compatíveis com o ACK, consulte Tipos de instância ECS aceleradas por GPU compatíveis com o ACK |
Etapa 1: Adicionar rótulos aos nós acelerados por GPU
Faça login no console do ACK. No painel de navegação à esquerda, clique em Clusters.
Na página Clusters, clique em no nome do cluster. No painel de navegação à esquerda, clique em .
No canto superior direito da página Nodes, clique em Manage Labels and Taints.
Na aba Labels da página Manage Labels and Taints, selecione os nós a gerencie e clique em Add Label.
-
Na caixa de diálogo Add, configure os parâmetros Name e Value e clique em OK.
Para ative o cGPU, defina o parâmetro Name como cgpu e o parâmetro Value como true.
Para desativar o cGPU, defina o parâmetro Name como cgpu e o parâmetro Value como false. Não é possível desativar o cGPU excluindo o rótulo cgpu.
Etapa 2: Instale o componente ack-cgpu nos nós rotulados
Na página Clusters, clique em no nome do cluster. No painel de navegação à esquerda, clique em .
-
No canto superior esquerdo da página Helm, clique em Deploy. No painel Deploy, selecione ack-cgpu no parâmetro Chart e configure os demais parâmetros conforme as instruções na tela para instale o componente ack-cgpu.
Na página Helm, se o status do ack-cgpu mudar para Deployed, a implantação do ack-cgpu foi concluída.