:Configure GPU fault alerting and solutions

Informações básicas

1. Configure o monitoramento e os alertas de rotina: defina regras de alerta com base em métricas de GPU (ACK GPU Monitoring 2.0) e eventos (ACK Node Problem Detector) conforme as necessidades do seu negócio. Quando ocorre uma falha na GPU, o sistema aciona um alerta imediatamente, melhorando a capacidade de resposta a essas falhas.

2. Diagnóstico e análise assistidos pelo Container Intelligence Service (CIS): quando ocorre uma falha na GPU, os alertas ou eventos relevantes podem fornecer informações limitadas sobre o status da GPU e os detalhes da falha. Nesse caso, use o CIS para diagnosticar o nó ao qual a GPU defeituosa pertence ou o pod que utiliza essa GPU. O CIS gera um relatório de diagnóstico com informações detalhadas sobre a falha, ajudando você a identificar o tipo de problema e a escolher as soluções adequadas para corrigi-lo.

3. Isolamento e recuperação de falhas: para mitigar o impacto de falhas específicas, o ACK permite ativar o isolamento de nós e o isolamento de GPU. Após a correção da falha, cancele o isolamento para retomar a execução normal das aplicações.

Etapa 1: Configure monitoramento e alertas de rotina

O Node Problem Detector (NPD) suporta inspeções regulares de GPU e ajuda a detectar falhas. Especifique contatos para receber alertas quando o NPD detectar problemas na GPU.

1. Faça login no ACK console. No painel de navegação à esquerda, clique em Clusters.

2. Na página Clusters, clique em no nome do seu cluster. No painel de navegação à esquerda, clique em Components and Add-ons.

3. Na página Add-ons, pesquise por ack-node-problem-detector e clique em Install assim que o componente aparecer.

   Nota

   Se você já instalou o componente anteriormente, verifique se a versão é 1.2.20 ou posterior. Para mais informações, consulte ack-node-problem-detector.

4. Na página Clusters, clique em no nome do seu cluster. No painel de navegação à esquerda, clique em Operations > Alerts.

5. Na página Alerts, clique em na aba Alert Contacts. Em seguida, clique em Create e configure um contato seguindo as instruções na tela.

6. Na aba Alert Rules, selecione Alert Rule Set for GPU Monitoring e clique em Status. Depois, clique em Modify Contacts e selecione o contato criado.

Etapa 2: Usar o CIS para diagnóstico e análise

Quando ocorrem falhas nas GPUs de um cluster, o administrador recebe notificações por mensagens de texto, e-mail ou DingTalk. Faça login no ACK console e utilize o CIS para localizar e analisar as falhas.

1. Faça login no ACK console. No painel de navegação à esquerda, clique em Clusters.

2. Na página Clusters, clique em no nome do seu cluster. No painel de navegação à esquerda, clique em Inspections and Diagnostics > Diagnostics.

3. Na página Diagnosis, clique em Node diagnosis. No canto superior esquerdo da página Node diagnosis, clique em Diagnosis.

4. No painel Select node, especifique o parâmetro Node name, leia e marque I know and agree e, em seguida, clique em Create diagnosis.

5. Após a conclusão do diagnóstico, os resultados de todos os itens são exibidos. Para mais informações sobre os itens suportados pelo recurso de diagnóstico de nós, consulte Node diagnostics.

   Se ocorrer um Xid error na GPU, será exibido {"GPU-326dc0ce-XXXX-77b6-XXXX-9a2eeXXXX":["43"]} no item GPUXIDErrors, indicando que houve um erro Xid 43 na GPU GPU-xxx. Para mais detalhes sobre erros de GPU nos relatórios de diagnóstico fornecidos pelo CIS, consulte Eventos de falhas de GPU detectados pelo NPD.

Etapa 3: Isolar a GPU defeituosa

// Specify the index of the GPU.
{
    "index": ["1"]
}

// Specify the UUID of the GPU.
{
    "uuid": ["GPU-xxx-xxx-xxx"]
}

Eventos de falhas de GPU detectados pelo NPD