Para tornar o tratamento de exceções de GPU mais flexível e configurável conforme as diferentes necessidades de negócios, o Container Service for Kubernetes (ACK) está otimizando seu mecanismo de isolamento automático de GPU.
Cronograma
A implementação gradual começa em 14 de maio de 2026.
Mudanças
O ACK oferece suporte à detecção de exceções de GPU e ao isolamento automático. Ao detectar uma exceção, o ACK isola a GPU com falha para impedir o agendamento de novas cargas de trabalho nela, minimizando o impacto nas operações comerciais. No entanto, o isolamento automático não equivale a reparo automático. Você ainda precisa reparar ou tratar a GPU com falha. A partir da versão 1.2.35 do componente ACK Node Problem Detector (ACK NPD) e da versão 0.7.0 do componente ACK NVIDIA Device Plugin, o comportamento do isolamento automático de GPU mudará: em vez de ser acionado por padrão, passará a ser acionado por configuração, conforme detalhado abaixo:
O componente ACK NPD é responsável apenas pela detecção de exceções.
O componente ACK NVIDIA Device Plugin determina se deve isolar uma GPU com falha com base no relatório de detecção de exceções do ACK NPD e nos gatilhos de isolamento configurados.
No novo mecanismo, o isolamento automático de GPU vem desativado por padrão. Para ative esse recurso, configure os gatilhos de isolamento de acordo com seus requisitos específicos.
Mecanismo
-
Mecanismo anterior
Quando o componente ACK NPD detectava uma exceção de GPU, ele gerava um arquivo de isolamento de GPU. Em seguida, o componente ACK NVIDIA Device Plugin isolava todas as GPUs listadas nesse arquivo. Isso significava que as GPUs eram isoladas automaticamente por padrão após a detecção de exceções específicas. Era possível ative ou desativar esse recurso configurando se o ACK NPD geraria ou não o arquivo de isolamento.
-
Novo mecanismo
Quando o componente ACK NPD detecta uma exceção de GPU, ele gera um relatório de detecção de exceções. O componente ACK NVIDIA Device Plugin usa esse relatório e os gatilhos de isolamento configurados para decidir se deve isolar a GPU. Por padrão, o componente ACK NVIDIA Device Plugin não tem gatilhos configurados, o que significa que o isolamento automático de GPU não é acionado por padrão. Defina quais exceções acionam o isolamento automático configurando gatilhos específicos.
Para compatibilidade com versões anteriores, a nova versão do componente ACK NPD continuará a gerar o arquivo de isolamento de GPU no formato legado. Contudo, a nova versão do componente ACK NVIDIA Device Plugin não lê mais esse arquivo. O comportamento de isolamento agora é determinado exclusivamente pela configuração do próprio plugin.
Escopo de impacto
O novo mecanismo aplica-se apenas a clusters ACK executando Kubernetes 1,32 ou posterior.
Em clusters com versões do Kubernetes anteriores à 1,32, o isolamento automático de GPU ainda utiliza o mecanismo anterior.
A tabela a seguir resume o comportamento de isolamento automático de GPU para diferentes versões de componentes:
Versão do ACK NPD | Versão do plugin NVIDIA | Comportamento de isolamento |
Versão do ACK NPD < 1.2.24 | N/A | A detecção de exceções de GPU não está disponível. |
Versão do ACK NPD ≥ 1.2.24 | Versão do ACK NVIDIA Device Plugin < 0.7.0 | O isolamento segue o mecanismo anterior. |
1.2.24 ≤ Versão do ACK NPD ＜1.2.35 | Versão do ACK NVIDIA Device Plugin ≥ 0.7.0 | O recurso de isolamento automático de GPU está inativo. Outros recursos funcionam conforme esperado. Versões mais antigas do ACK NPD não geram um relatório de detecção de exceções. Como resultado, o novo ACK NVIDIA Device Plugin não recebe informações de falha e não realiza o isolamento automático. |
Versão do ACK NPD ≥ 1.2.35 | Versão do ACK NVIDIA Device Plugin ≥ 0.7.0 | O isolamento segue o novo mecanismo. |
Recomendações
Para usar o novo recurso de isolamento automático configurável, conclua as etapas a seguir:
-
Atualize as versões dos componentes.
Certifique-se de que o componente ACK NPD esteja na versão 1.2.35 ou posterior e o componente ACK NVIDIA Device Plugin esteja na versão 0.7.0 ou posterior. Durante a implementação gradual, se as novas versões não estiverem disponíveis na página Component Management, envie um ticket para ser adicionado à lista de permissões. Recomendamos realizar as atualizações fora do horário de pico.
Para obter instruções sobre como atualizar os componentes, consulte os seguintes tópicos:
Atualização do ACK NPD: Atualizar o componente ack-node-problem-detector.
Atualização do ACK NVIDIA Device Plugin: Atualizar o componente NVIDIA Device Plugin.
-
Configure os gatilhos de isolamento automático.
Configure os gatilhos de isolamento automático com base nos requisitos do seu negócio. Para obter instruções detalhadas, consulte a documentação atualizada sobre Detecção de exceções de GPU e isolamento automático.
-
(Recomendado) Configure alertas de exceção de GPU.
Também recomendamos configurar alertas de exceção de GPU. Assim, você receberá uma notificação imediata quando ocorrer uma exceção, permitindo resolver o problema rapidamente e evitar que uma GPU com falha afete suas operações por um período prolongado. Para mais informações, consulte Melhores práticas de observabilidade em cenários de treinamento de GPU ou IA.
Antes de atualizar os componentes, avalie o impacto dessa mudança em seus serviços e faça os ajustes necessários. Isso ajuda a evitar comportamentos inesperados resultantes da alteração no mecanismo de isolamento.