Diagnose and repair pod issues - Container Service for Kubernetes: Central de Documentação do Alibaba Cloud

Container Intelligence Service combina conhecimento especializado com modelos de IA para diagnosticar problemas e identificar suas causas raiz. O diagnóstico de Pod inclui verificações de diagnóstico e causas raiz.

Verificações de diagnóstico: Realiza verificações em Pods , nós, componentes de nó, componentes do cluster e no ECS controller manager.
Causa raiz: Apresenta a causa raiz identificada e recomendações de correção. O diagnóstico de Pod coleta informações de clusters e nós para identificar anomalias e, em seguida, realiza diagnósticos aprofundados com base nos resultados.

Importante

O recurso de diagnóstico executa um programa de coleta de dados nos nós do cluster para reunir os resultados das verificações. As informações coletadas incluem a versão do sistema, o status das cargas de trabalho, do Docker, do kubelet e informações sobre erros críticos dos logs do sistema. O programa de coleta de dados não reúne informações de negócios nem dados sensíveis.

Cenários anômalos suportados

As tabelas a seguir listam os cenários anômalos típicos cobertos pelo diagnóstico de Pod e pelo diagnóstico assistido por IA.

Categoria	Cenário anômalo
Diagnóstico de Pod	O scheduler não processa o Pod.
	O Pod não pode ser agendado porque viola as restrições de agendamento.
	O Kubelet não processa o Pod agendado.
	O Pod aguarda um volume ficar disponível.
	O Pod foi removido por eviction.
	O Pod foi removido por eviction devido a espaço em disco insuficiente no nó.
	O Pod foi removido por eviction devido a memória insuficiente no nó.
	O Pod foi removido por eviction devido a inodes insuficientes no nó.
	Falha na criação do container sandbox do Pod.
	O Pod está travado no estado Terminating.
	Um container no Pod apresenta erro de OOM.
	Um container no Pod é encerrado inesperadamente.
	Um container no Pod está no estado CrashLoopBackOff.
	Um container no Pod está NotReady.
	O Pod falha ao baixar uma imagem.
	O Pod atinge o tempo limite ao baixar uma imagem.
Diagnóstico assistido por IA	O status do Pod está anômalo.
	O Pod apresenta um evento de OOM.
	Um container no Pod é encerrado inesperadamente.
	O Pod apresenta erro de configuração de ConfigMap ou Secret.
	O Pod falha em uma verificação de integridade.
	O Pod apresenta erro de configuração de PersistentVolumeClaim (PVC).
	O Pod falha ao baixar uma imagem.

Processo de diagnóstico

O recurso de diagnóstico de cluster coleta informações de clusters e nós para identificar anomalias e, em seguida, realiza diagnósticos aprofundados. O recurso integra tanto o expert mode quanto o AI mode para determinar a root cause dos problemas. Cada diagnóstico passa por quatro etapas — anomaly identification, data collection, diagnostic item check e root cause analysis — para gerar os resultados.

Identificação de anomalias: Coleta dados básicos, como node status, pod status e cluster event streams, para analisar rapidamente as anomalias atuais.
Data Collection: Coleta dados contextuais com base nos resultados da anomaly identification. Por exemplo, em um diagnóstico de node, isso inclui informações do node provenientes do Kubernetes, as informações do ECS correspondente e o status de processos como Docker e kubelet.
Verificação de itens de diagnóstico: Avalia métricas-chave com base nos dados coletados. Por exemplo, os diagnostic items de um diagnóstico de node incluem o status do processo Docker e o status do ECS. Os diagnostic items específicos variam por tipo de diagnóstico, e os resultados listam cada item verificado com sua descrição.
Root Cause Analysis: Para alguns problemas, o sistema analisa automaticamente a root cause com base nos dados coletados e nos resultados da diagnostic item check.

Resultados do diagnóstico

Os resultados se enquadram em dois tipos:

Root cause analysis results: incluem anomalias detectadas, a causa raiz identificada e sugestões de correção.
Diagnostic item check results: incluem os resultados da verificação por item. Esses resultados podem revelar causas que a análise de causa raiz pode não detectar.

Os itens de diagnóstico variam conforme a configuração do cluster e refletem a configuração real do seu ambiente.

Categorias de diagnóstico

Categoria	Descrição
Pod	Diagnostica problemas comuns de Pod, incluindo status do Pod, download de imagens e conectividade de rede.
Node	Diagnostica problemas comuns de nó, incluindo status do nó, status de rede, logs do kernel, status dos processos principais e disponibilidade de serviços.
NodeComponent	Diagnostica o status dos componentes principais do nó, incluindo plugins de rede e armazenamento.
ClusterComponent	Diagnostica problemas comuns do cluster, incluindo disponibilidade do serviço de API, disponibilidade do DNS e status do NAT gateway.
ECSControllerManager	Diagnostica problemas comuns em instâncias ECS, incluindo status, conectividade de rede, sistema operacional e I/O de disco.

Pod

Parâmetro	Descrição	Solução
Contagem de reinicializações do container	Verifica quantas vezes os containers do Pod foram reiniciados.	Verifique o status e os logs do Pod. Para mais informações, consulte Pod troubleshooting.
Downloads de imagens de container bloqueados	Verifica se os downloads de imagens de container estão bloqueados para outros Pods no mesmo nó.
Validade do Secret de download de imagem	Verifica se os Secrets que o Pod utiliza para baixar imagens são válidos.
Conectividade do Pod com os Pods do CoreDNS	Verifica a conectividade do Pod com os Pods do CoreDNS.	Verifique a conectividade de rede do Pod com o CoreDNS.
Conectividade do Pod com o Service do CoreDNS	Verifica a conectividade do Pod com o Service do CoreDNS.	Verifique a conectividade de rede do Pod com o CoreDNS.
Conectividade do Pod com o servidor DNS da rede do host	Verifica a conectividade do Pod com o servidor DNS na rede do host.	Verifique a conectividade do Pod com o servidor DNS na rede do host.
Processo de container em estado D	Verifica se processos de container no Pod estão no estado D (sleep ininterruptível).	Um processo de container no estado D geralmente está bloqueado em I/O de disco. Tente reiniciar a instância ECS. Se o problema persistir, submit a ticket.
Status de inicialização do Pod	Verifica se o Pod foi inicializado corretamente.	Verifique o status e os logs do Pod. Para mais informações, consulte Pod troubleshooting.
Status de agendamento do Pod	Verifica se o Pod foi agendado corretamente.	Verifique o status e os logs do Pod. Para mais informações, consulte Pod troubleshooting.

Node

Se o problema persistir após aplicar a correção sugerida, colete os logs do nó e abra um ticket.

Item de diagnóstico	O que detecta	Correção
Erros de conectividade com o Kubernetes API server	Se o nó consegue alcançar o API server do cluster.	Verifique a configuração do cluster. Consulte Troubleshoot ACK clusters.
Travamentos de montagem AUFS	Se estão ocorrendo travamentos de montagem AUFS no nó.	Abra um ticket.
Erros BufferIOError	Se há erros BufferIOError no kernel do nó.	Abra um ticket.
Vazamentos de cgroup	Se estão ocorrendo vazamentos de cgroup.	Vazamentos de cgroup podem interromper a coleta de dados de monitoramento e causar falhas na inicialização de containers. Faça login no nó e exclua os diretórios de cgroup afetados.
Status anômalo do processo chronyd	Se o processo chronyd está em execução normalmente. Um processo chronyd anômalo pode afetar a sincronização do relógio do sistema.	Execute `systemctl restart chronyd` para reiniciar o processo.
Download de imagens pelo containerd	Se o runtime containerd consegue baixar imagens conforme esperado.	Verifique a configuração de rede do nó e as configurações de imagem.
Status do containerd	Se o runtime containerd está em execução.	Abra um ticket.
Disponibilidade do pod CoreDNS	Se o nó consegue alcançar o endereço IP do pod CoreDNS.	Verifique se o nó consegue acessar o endereço IP do pod CoreDNS. Consulte What do I do if the DNS query load is not balanced among CoreDNS pods?.
Status das imagens	Se as imagens estão íntegras.	Abra um ticket.
Status overlay2 das imagens	Se o sistema de arquivos overlay2 nas imagens está corrompido.	Abra um ticket.
Hora do sistema	Se o relógio do sistema está preciso.	Nenhuma ação necessária.
Inicialização de containers Docker	Se containers Docker estão falhando ao iniciar.	Abra um ticket.
Download de imagens Docker	Se o nó consegue baixar imagens Docker conforme esperado.	Verifique a configuração de rede do nó e as configurações de imagem.
Status do Docker	Se o runtime Docker está em execução.	Abra um ticket.
Tempo de inicialização do Docker	O tempo de inicialização do Dockerd.	Nenhuma ação necessária.
Erros de travamento do Docker	Se estão ocorrendo erros de travamento do Docker no nó.	Execute `systemctl restart docker` para reiniciar o Docker.
Existência da instância ECS	Se a instância ECS subjacente existe.	Verifique o status da instância ECS. Consulte FAQ about nodes and node pools.
Status da instância ECS	Se a instância ECS está em estado saudável.	Verifique o status da instância ECS. Consulte FAQ about nodes and node pools.
Erros Ext4FsError	Se há erros Ext4FsError no kernel do nó.	Abra um ticket.
Sistema de arquivos do nó em modo somente leitura	Se o sistema de arquivos do nó passou para modo somente leitura. Isso normalmente indica falha no disco e bloqueia todas as operações de escrita, afetando as cargas de trabalho.	Execute `fsck` para reparar o sistema de arquivos e reinicie o nó em seguida.
Hora do hardware	Se o relógio de hardware e o relógio do sistema estão sincronizados. Uma diferença superior a 2 minutos pode causar erros nos componentes.	Execute `hwclock --systohc` para sincronizar a hora do sistema com o relógio de hardware.
DNS do nó	Se nomes de domínio podem ser resolvidos no nó.	Consulte DNS troubleshooting.
Erros de kernel oops	Se há erros oops no kernel do nó.	Abra um ticket.
Versões do kernel	Se a versão do kernel está desatualizada. Kernels desatualizados podem ter problemas de estabilidade conhecidos.	Atualize o kernel do nó. Consulte FAQ about nodes and node pools.
Disponibilidade do DNS do cluster	Se o nó consegue alcançar o cluster IP do Service kube-dns para usar o serviço DNS do cluster.	Verifique o status e os logs dos pods CoreDNS. Consulte DNS troubleshooting.
Status do Kubelet	Se o kubelet está em execução normalmente.	Verifique os logs do kubelet. Consulte Troubleshoot ACK clusters.
Tempo de inicialização do Kubelet	O tempo de inicialização do kubelet.	Nenhuma ação necessária.
Utilização de CPU	Se a utilização de CPU do nó está excessivamente alta.	Nenhuma ação necessária.
Utilização de memória	Se a utilização de memória do nó está excessivamente alta.	Nenhuma ação necessária.
Fragmentação de memória	Se há fragmentação de memória no nó.	Faça login no nó e execute `echo 3 > /proc/sys/vm/drop_caches` para liberar o cache.
Memória swap	Se a memória swap está ativada.	Faça login no nó e desative a memória swap.
Carregamento de drivers de dispositivo de rede	Se os drivers VirtIO nos dispositivos de rede estão carregados corretamente.	Abra um ticket.
Utilização de CPU excessivamente alta no nó	Se a utilização de CPU foi elevada na última semana. Quando muitos pods são agendados para um nó com alta utilização constante de CPU, a contenção de recursos pode causar interrupções de serviço.	Defina requests e limits de recursos adequadamente para evitar sobrecarga do nó.
Existência de IP privado do nó	Se o nó possui um endereço IP privado atribuído.	Remova o nó do cluster e adicione-o novamente. Não libere a instância ECS ao remover o nó. Consulte Remove a node e Add existing ECS instances.
Utilização de memória excessivamente alta no nó	Se a utilização de memória foi elevada na última semana. Alta utilização de memória combinada com agendamento intenso de pods pode causar erros de out-of-memory (OOM) e interrupções de serviço.	Defina requests e limits de recursos adequadamente para evitar sobrecarga do nó.
Status do nó	Se o nó está no estado Ready.	Reinicie o nó. Consulte FAQ about nodes and node pools.
Capacidade de agendamento do nó	Se o nó está marcado como não agendável.	Verifique a configuração de agendamento do nó. Consulte Node draining and scheduling status.
Erros de OOM	Se estão ocorrendo erros de out-of-memory (OOM) no nó.	Abra um ticket.
Verificação de runtime	Se o runtime de container do nó corresponde ao runtime configurado no cluster.	Consulte Can I change the container runtime of a cluster from containerd to Docker?.
Versões de SO desatualizadas	Se a versão do SO do nó possui bugs conhecidos ou problemas de estabilidade. Versões desatualizadas de SO podem causar mau funcionamento dos runtimes Docker e containerd.	Atualize a versão do SO.
Acesso à internet	Se o nó consegue alcançar a internet.	Verifique se o SNAT está ativado para o cluster. Consulte Enable an existing ACK cluster to access the internet.
Erros RCUStallError	Se há erros RCUStallError no kernel do nó.	Abra um ticket.
Versões de SO	A versão de SO utilizada pelo nó. Versões desatualizadas podem impedir o funcionamento normal do cluster.	Nenhuma ação necessária.
Vazamentos de processo runc	Se estão ocorrendo vazamentos de processo runc. Esses vazamentos podem fazer o nó entrar periodicamente no estado NotReady.	Identifique os processos runc com vazamento e encerre-os manualmente.
Erros SoftLockupError	Se há erros SoftLockupError no kernel do nó.	Abra um ticket.
Travamentos do systemd	Se estão ocorrendo travamentos do systemd.	Faça login no nó e execute `systemctl daemon-reexec` para reiniciar o systemd.
Versões desatualizadas do systemd	Se a versão do systemd possui bugs conhecidos. Versões desatualizadas podem causar mau funcionamento do Docker e do containerd.	Atualize a versão do systemd. Consulte systemd.
Processos travados	Se há processos travados no nó.	Abra um ticket.
Erros unregister_netdevice	Se há erros unregister_netdevice no kernel do nó.	Abra um ticket.

NodeComponent

Item de diagnóstico	O que detecta	Correção
Status do componente CNI	Se o plugin Container Network Interface (CNI) está em execução conforme esperado.	Verifique o status do componente de rede do cluster. Consulte FAQ about network management.
Status do componente CSI	Se o plugin Container Storage Interface (CSI) está em execução conforme esperado.	Verifique o status do componente de armazenamento do cluster. Consulte FAQ about CSI.

ClusterComponent

Item de diagnóstico	O que detecta	Correção
Versão do aliyun-acr-credential-helper	Se a versão do componente aliyun-acr-credential-helper está desatualizada.	Atualize o aliyun-acr-credential-helper. Consulte Use the aliyun-acr-credential-helper component to pull images without using a secret.
Disponibilidade do API Service	Se o API Service do cluster está disponível.	Execute `kubectl get apiservice` para verificar a disponibilidade. Se estiver indisponível, execute `kubectl describe apiservice` para identificar a causa.
Blocos CIDR de pods disponíveis insuficientes	Se restam menos de cinco blocos CIDR de pods em um cluster Flannel. Cada nó utiliza um bloco; quando se esgotam, novos nós não funcionam corretamente.	Abra um ticket.
Endpoints do CoreDNS	O número de endpoints ativos do CoreDNS.	Verifique o status e os logs dos pods CoreDNS. Consulte DNS troubleshooting.
Endereços IP de cluster do CoreDNS	Se o Service DNS do cluster possui um ClusterIP atribuído. Sem ele, o DNS do cluster falha e as cargas de trabalho são afetadas.	Verifique o status e os logs dos pods CoreDNS. Consulte DNS troubleshooting.
Status do NAT gateway	Se o NAT gateway do cluster está funcionando normalmente.	Faça login no console do NAT Gateway e verifique se o gateway está bloqueado por pagamentos em atraso.
Taxa excessivamente alta de descartes de conexões simultâneas no NAT gateway	Se o NAT gateway está descartando uma taxa anormalmente alta de conexões simultâneas.	Faça upgrade do NAT gateway. Consulte FAQ about upgrading standard Internet NAT gateways to enhanced Internet NAT gateways.

ECSControllerManager

Item de diagnóstico	O que é verificado	Correção
Pagamentos em atraso relacionados aos componentes da instância ECS	Se o disco ou a largura de banda de rede da instância está restrito devido a pagamentos em atraso.	Recarregue o saldo da conta para restaurar o acesso.
Pagamentos em atraso relacionados à instância ECS	Se a instância ECS com pagamento conforme o uso foi suspensa por conta de pagamentos em atraso.	Recarregue o saldo da conta e reinicie a instância.
Status da NIC da instância ECS	Se a placa de interface de rede (NIC) da instância está funcionando normalmente.	Reinicie a instância.
Status de inicialização da instância ECS	Se a instância consegue inicializar normalmente.	Se a inicialização falhar, crie uma nova instância.
Status do sistema de gerenciamento de backend da instância ECS	Se o sistema de gerenciamento de backend da instância está operando normalmente.	Reinicie a instância.
Status dos CPUs da instância ECS	Se há contenção de CPU ou falhas de vinculação de CPU na camada subjacente da instância.	A contenção de CPU pode impedir que a instância adquira recursos de CPU. Reinicie a instância.
Split locks nos CPUs da instância ECS	Se estão ocorrendo split locks nos CPUs da instância ECS.	Estão ocorrendo split locks nos CPUs da instância ECS.
Status da mitigação de DDoS para a instância ECS	Se o endereço IP público da instância está sob um ataque DDoS.	Adquira um service de proteção contra DDoS. Consulte Comparison of Alibaba Cloud Anti-DDoS solutions.
Capacidades limitadas de leitura/gravação do disco em cloud	Se o throughput de leitura/gravação do disco em cloud está sendo limitado.	Reduza a frequência de leitura/gravação do disco ou faça upgrade para um tipo de disco em cloud de maior desempenho. Para obter mais informações sobre as métricas de desempenho de leitura/gravação dos discos em cloud, consulte Block storage performance.
Carregamento do disco da instância ECS	Se o disco em cloud pode ser anexado quando a instância é iniciada.	Pare a instância e inicie-a novamente.
Expiração da instância ECS	Se a instância com assinatura expirou.	Renove a instância. Consulte Renew a subscription instance.
Travamentos de SO da instância ECS	Se ocorreram travamentos de SO nas últimas 48 horas.	Analise os logs do sistema para identificar a causa. Consulte View system logs and screenshots.
Status do host da instância ECS	Se o servidor físico que hospeda a instância apresenta falhas.	Falhas no host podem degradar o desempenho da instância. Reinicie a instância.
Carregamento da imagem da instância ECS	Se a instância consegue carregar sua imagem durante a inicialização.	Reinicie a instância.
Travamentos de I/O no disco da instância ECS	Se estão ocorrendo travamentos de I/O no disco do sistema.	Verifique as métricas do disco. Consulte View the monitoring data of a cloud disk. Para Alibaba Cloud Linux 2, consulte Detect I/O hangs of file systems and block layers.
Limite máximo de largura de banda da instância ECS	Se a largura de banda total da instância atingiu o máximo permitido para o tipo de instância.	Faça upgrade para um tipo de instância com maior largura de banda. Consulte Overview of instance configuration changes.
Limite máximo de largura de banda em burst da instância ECS	Se a largura de banda em burst da instância ultrapassou o máximo permitido para o tipo de instância.	Faça upgrade para um tipo de instância com maior largura de banda. Consulte Overview of instance configuration changes.
Carregamento da NIC da instância ECS	Se a NIC pode ser carregada na instância.	Se a NIC falhar ao carregar, a instância perde conectividade de rede. Reinicie a instância.
Estabelecimento de sessões na NIC da instância ECS	Se é possível estabelecer sessões para a NIC.	Caso a NIC não consiga estabelecer sessões ou tenha atingido o limite de sessões, a conectividade ou o throughput de rede será afetado. Reinicie a instância.
Operações principais na instância ECS	Se operações recentes na instância — como iniciar, parar ou fazer upgrade — foram concluídas com êxito.	Tente novamente a operação que falhou.
Perda de pacotes na NIC da instância ECS	Se está ocorrendo perda de pacotes de entrada ou saída na NIC.	Reinicie a instância.
Degradação de desempenho da instância ECS	Se o desempenho da instância foi temporariamente reduzido devido a problemas de software ou hardware.	Visualize os eventos históricos ou os logs do sistema da instância para identificar a causa. Consulte View historical system events.
Desempenho comprometido da instância ECS	Se o desempenho da instância está reduzido.	A instância ECS só consegue fornecer o desempenho de linha de base devido à insuficiência de créditos de CPU disponíveis.
Redimensionamento do disco da instância ECS	Se o disco foi redimensionado, mas o SO ainda não expandiu o sistema de arquivos.	O SO não conseguiu redimensionar o sistema de arquivos após o disco ser ampliado, portanto o espaço adicionado não está disponível. Redimensione o disco novamente.
Solicitação de recursos da instância ECS	Se há recursos físicos de CPU e memória suficientes disponíveis para a instância.	A insuficiência de recursos físicos impede a inicialização da instância. Aguarde alguns minutos e tente iniciá-la novamente. Se o problema persistir, crie uma instância em uma região ou zona diferente.
Status do SO da instância ECS	Se ocorreram kernel panics, erros de OOM ou falhas internas no SO da instância.	Essas falhas geralmente são causadas por configurações incorretas da instância ou por programas do usuário. Reinicie a instância.
Status de virtualização da instância ECS	Se existem exceções na camada de virtualização subjacente.	Tais exceções podem fazer com que a instância pare de responder ou seja suspensa inesperadamente. Reinicie a instância.