Disable the estimation feature of IPVS to prevent network jitters - Alibaba Cloud Linux: Central de Documentação do Alibaba Cloud

O IP Virtual Server (IPVS) coleta estatísticas por serviço usando um temporizador interno chamado estimation_timer. Em ambientes de grande escala, esse temporizador introduz latência de dezenas a centenas de milissegundos e causa oscilações na rede. Desative o recurso de estimativa no Alibaba Cloud Linux para eliminar essa sobrecarga.

Como o recurso de estimativa causa oscilações

IPVS

O IPVS é um componente do kernel Linux que direciona requisições TCP e udp para servidores reais, fornecendo operações de Server Load Balancer (slb) de camada 4 em modo kernel. No Kubernetes, o IPVS atua como proxy para o componente kube-proxy, encaminhando requisições de serviço para Pods de back-end e realizando o balanceamento de carga.

Nota

O kube-proxy é um componente do cluster Kubernetes que fornece proxy de rede e balanceamento de carga para serviços.

O recurso de estimativa do IPVS e a causa da latência ou oscilação em requisições de rede

O estimation_timer contabiliza conexões e pacotes enviados e recebidos por serviço em cada intervalo de tempo. Ele vem ativado por padrão e provoca oscilações de rede por dois motivos:

Escalonamento linear com serviços e CPUs. O kernel armazena estatísticas separadamente para cada CPU. Conforme o número de serviços aumenta, a computação cresce linearmente. À medida que mais CPUs são adicionadas, o kernel precisa percorrer um número maior delas para coletar as estatísticas. Quando ambos os valores são altos, cada ciclo do estimation_timer gera uma sobrecarga significativamente maior.
A prioridade do temporizador bloqueia outras tarefas. A execução de temporizadores no Linux ocorre com alta prioridade. Enquanto um temporizador está em execução, outras tarefas não podem rodar. Isso atrasa o recebimento de pacotes, adiciona dezenas a centenas de milissegundos de latência às requisições da aplicação e provoca oscilações durante operações de ping.

Versões de kernel compatíveis

Para desativar o recurso de estimativa do IPVS, use uma das seguintes versões de kernel do Alibaba Cloud Linux:

Distribuição	Versão mínima do kernel
Alibaba Cloud Linux 2	`4.19.91-22`
Alibaba Cloud Linux 3	`5.10.134-14`

Desative o recurso de estimativa

Importante

Ao desativar o recurso de estimativa, as estatísticas de serviço do IPVS ficam indisponíveis. Comandos como sudo ipvsadm -Ln --stats deixarão de reportar alterações na contagem de conexões ou no número de pacotes recebidos. Avalie o impacto nas suas cargas de trabalho antes de prosseguir.

Conecte-se à sua instância do Elastic Compute Service (ECS).

Para mais informações, consulte Conectar-se a uma instância Linux usando senha ou chave.
Configure o parâmetro sysctl.
1. Abra o arquivo de configuração do sysctl:
```
sudo vim /etc/sysctl.conf
```
2. Adicione a seguinte linha ao final do arquivo, salve e feche:
```
net.ipv4.vs.run_estimation = 0
```
3. Aplique a configuração:
```
sudo sysctl -p
```
Aplique configurações adicionais para ambientes de contêiner.

Em ambientes de contêiner, execute as etapas adicionais a seguir.
- Recarregamentos do módulo IPVS
  
  Sempre que o módulo IPVS for recarregado, execute sysctl -p novamente para que a configuração tenha efeito. Para automatizar esse processo, crie um arquivo de configuração do modprobe:
  1. Crie o arquivo:
    sudo vim /etc/modprobe.d/ipvs.conf
  2. Adicione o conteúdo abaixo, salve e feche:
    install ip_vs /sbin/modprobe --ignore-install ip_vs && /sbin/sysctl -p
  Isso garante que as definições do sysctl.conf sejam aplicadas automaticamente quando o sistema recarregar o módulo IPVS.
- Contêineres com namespace de rede
  
  Se você configurou regras IPVS para contêineres que utilizam namespaces de rede, desative o recurso de estimativa individualmente em cada contêiner.
  
  Nota
  No Alibaba Cloud container service for kubernetes (ACK), o modo padrão do kube-proxy é IPVS, e as regras IPVS são configuradas no lado do host. Usuários do ACK não precisam desativar a estimativa em cada contêiner. Pule esta etapa se você utiliza o ACK.
Verifique se o recurso foi desativado.

Use um dos métodos a seguir para confirmar que o recurso de estimativa está desativado.
- Método 1: Verificar o parâmetro sysctl. Execute o comando abaixo. Se a saída for 0, o recurso está desativado.
```
sudo sysctl net.ipv4.vs.run_estimation
```
- Método 2: Verificar as estatísticas do IPVS. Execute o comando a seguir várias vezes. Se os valores estatísticos não mudarem entre as execuções, o recurso está desativado.
  Importante
  Se o ipvsadm não estiver instalado, instale-o primeiro:
  sudo yum install ipvsadm
```
sudo ipvsadm -Ln --stats
```

Próximas etapas

Confirme a resolução das oscilações e da latência de rede

Após confirmar que o recurso está desativado, verifique se as oscilações e a latência foram resolvidas:

Teste de ping. Faça um ping para o endereço IP ou nome de domínio da instância ECS. Se a latência permanecer estável e dentro de uma faixa razoável, o problema foi resolvido.
Teste de desempenho. Use uma ferramenta de teste de desempenho de rede para medir a latência e as oscilações. Se a latência de cauda longa for reduzida significativamente ou deixar de ocorrer, o problema foi resolvido.

Nota
Se as oscilações ou a latência persistirem após a desativação do recurso de estimativa, use o recurso de diagnóstico de rede no console do Container Service for Kubernetes (ACK) para investigar. Para mais informações, consulte Diagnóstico de rede.

Reative o recurso de estimativa

Para reativar a estimativa, defina run_estimation como 1 tanto no arquivo de configuração do sysctl (/etc/sysctl.conf) quanto no arquivo de configuração do modprobe (/etc/modprobe.d/ipvs.conf) e execute sudo sysctl -p para aplicar a alteração.