Alibaba Cloud Service Mesh:Configure Sidecar proxy

Recursos do proxy sidecar (istio-proxy)

Defina as solicitações e os limites de recursos de CPU e memória para o contêiner istio-proxy.

Configurar no console

1. Na página Sidecar Proxy Setting, selecione a aba de escopo desejada e expanda Resource Settings.

2. No nível de namespace ou de carga de trabalho, selecione Configure Resources for istio-init Container caso também queira definir recursos para o contêiner de inicialização.

3. Em Resource Limits, defina CPU como 2 núcleos e Memory como 1025 MiB. Em Required Resources, defina CPU como 0.1 núcleos e Memory como 128 MiB.

4. Clique em Update Settings.

5. Reimplante as cargas de trabalho para aplicar a alteração.

Verificar

kubectl get pod -n <namespace> <pod-name> -o yaml

Na saída, confirme se o campo resources do contêiner istio-proxy corresponde aos valores configurados:

spec:
  containers:
    - name: istio-proxy
      resources:
        limits:
          cpu: '2'
          memory: 1025Mi
        requests:
          cpu: 100m
          memory: 128Mi

Alocação proporcional de recursos do sidecar

Em vez de definir valores fixos, aloque recursos do proxy sidecar como uma porcentagem dos recursos do contêiner da carga de trabalho. Isso substitui as definições padrão de recursos do proxy Istio.

Duas políticas de cálculo estão disponíveis:

• Recursos máximos do contêiner: Usa o maior limite de CPU ou memória entre todos os contêineres no Pod como base.

• Contêiner especificado: Usa um contêiner nomeado como base. Se o contêiner nomeado não existir, aplicam-se os recursos padrão do proxy Istio. A anotação do Pod scaled-resource.inject.istio.alibabacloud.com/container-ref tem prioridade sobre um nome de contêiner especificado manualmente.

Configurar no console

1. Na página Sidecar Proxy Setting, selecione uma aba de escopo e expanda Resource Settings.

2. Selecione Configure sidecar resources by ratio.

3. Defina a porcentagem de Proportion of Resources, opcionalmente selecione uma Computing Policy e clique em Update Settings.

4. Reimplante as cargas de trabalho para aplicar a alteração.

Verificar

kubectl get pod -n <namespace> <pod-name> -o yaml

Exemplos de resultados com um contêiner de carga de trabalho configurado com requests: {cpu: 300m, memory: 512Mi} e limits: {cpu: 500m, memory: 1Gi}:

Quando o contêiner da carga de trabalho não tem requests configurado e a proporção é de 50%:

resources:
  requests:
    cpu: 100m       # Minimum fallback
    memory: 128Mi   # Minimum fallback
  limits:
    cpu: 250m
    memory: 512Mi

Quando o contêiner da carga de trabalho não tem limits configurado e a proporção é de 50%:

resources:
  requests:
    cpu: 150m
    memory: 256Mi
  # No limits set

Recursos do contêiner istio-init

Defina solicitações e limites de recursos para o contêiner istio-init — o contêiner de inicialização que configura as regras de interceptação de tráfego do iptables antes do início do proxy sidecar.

Configurar no console

1. Na página Sidecar Proxy Setting, selecione uma aba de escopo e expanda Resource Settings.

2. No nível de namespace ou de carga de trabalho, selecione Configure Resources for istio-init Container.

3. Em Resource Limits, defina CPU como 1 núcleo e Memory como 512 MiB. Em Required Resources, defina CPU como 0.1 núcleos e Memory como 128 MiB.

4. Clique em Update Settings.

5. Reimplante as cargas de trabalho para aplicar a alteração.

Verificar

kubectl get pod -n <namespace> <pod-name> -o yaml

Confirme os recursos do contêiner istio-init:

spec:
  initContainers:
    - name: istio-init
      resources:
        limits:
          cpu: '1'
          memory: 512Mi
        requests:
          cpu: 100m
          memory: 128Mi

Recursos sobrealocados dinamicamente do ACK

Aloque recursos sobrealocados dinamicamente para os contêineres do proxy sidecar e istio-init. Essa definição só entra em vigor quando o Pod possui o rótulo koordinator.sh/qosClass, indicando que a sobrealocação dinâmica de recursos do ACK está ativada.

As unidades de recurso para recursos sobrealocados dinamicamente usam kubernetes.io/batch-cpu (em milinúcleos) e kubernetes.io/batch-memory (em MiB).

Configurar no console

1. Na página Sidecar Proxy Setting, selecione uma aba de escopo e expanda Resource Settings.

2. Selecione Set ACK Resources That Can Be Dynamically Overcommitted for Sidecar Proxy e configure o seguinte:

1. Clique em Update Settings.

2. Reimplante as cargas de trabalho para aplicar a alteração.

Verificar

kubectl get pod -n <namespace> <pod-name> -o yaml

Confirme se ambos os contêineres usam tipos de recursos em lote:

spec:
  containers:
    - name: istio-proxy
      resources:
        limits:
          kubernetes.io/batch-cpu: 2k
          kubernetes.io/batch-memory: 2Gi
        requests:
          kubernetes.io/batch-cpu: '200'
          kubernetes.io/batch-memory: 256Mi
  initContainers:
    - name: istio-init
      resources:
        limits:
          kubernetes.io/batch-cpu: 1k
          kubernetes.io/batch-memory: 1Gi
        requests:
          kubernetes.io/batch-cpu: '100'
          kubernetes.io/batch-memory: 128Mi

Threads de trabalho do proxy sidecar

Defina o número de threads de trabalho do Envoy para o proxy sidecar. O valor deve ser um inteiro não negativo. Quando definido como 0, a contagem de threads é determinada automaticamente com base nos limites de recursos de CPU do proxy sidecar (ou nas solicitações de recursos, caso não haja limites definidos).

Configurar no console

1. Na página Sidecar Proxy Setting, selecione uma aba de escopo e expanda Resource Settings.

2. No nível de namespace ou de carga de trabalho, defina Number of Sidecar Proxy Threads como 3.

3. Clique em Update Settings.

4. Reimplante as cargas de trabalho para aplicar a alteração.

Verificar

kubectl get pod -n <namespace> <pod-name> -o yaml

Confirme o argumento --concurrency no contêiner istio-proxy:

spec:
  containers:
    - name: istio-proxy
      args:
        - proxy
        - sidecar
        - '--concurrency'
        - '3'

Tráfego de saída: redirecionar endereços (lista de inclusão)

Especifique intervalos de endereços IP em notação CIDR, separados por vírgulas. O proxy sidecar intercepta o tráfego de saída apenas para destinos dentro desses intervalos. O valor padrão * intercepta todo o tráfego de saída.

Configurar no console

1. Expanda Enable/Disable Sidecar Proxy by Ports or IP Addresses.

2. No nível de namespace ou de carga de trabalho, selecione Addresses to Which External Access Is Redirected to Sidecar Proxy.

3. Insira 192.168.0.0/16,10.1.0.0/24 e clique em Update Settings.

4. Reimplante as cargas de trabalho para aplicar a alteração.

Verificar

O parâmetro -i no contêiner istio-init reflete os intervalos CIDR configurados:

initContainers:
  - name: istio-init
    args:
      - '-i'
      - '192.168.0.0/16,10.1.0.0/24'

Tráfego de saída: ignorar endereços (lista de exclusão)

Especifique intervalos de endereços IP em notação CIDR, separados por vírgulas. O tráfego de saída para destinos dentro desses intervalos ignora o proxy sidecar.

Configurar no console

1. Expanda Enable/Disable Sidecar Proxy by Ports or IP Addresses.

2. No nível de namespace ou de carga de trabalho, selecione Addresses to Which External Access Is Not Redirected to Sidecar Proxy.

3. Insira 10.1.0.0/24 e clique em Update Settings.

4. Reimplante as cargas de trabalho para aplicar a alteração.

Verificar

O parâmetro -x no contêiner istio-init inclui o intervalo CIDR configurado juntamente com o CIDR padrão do host (192.168.0.1/32):

initContainers:
  - name: istio-init
    args:
      - '-x'
      - '192.168.0.1/32,10.1.0.0/24'

Tráfego de entrada: redirecionar portas (lista de inclusão)

Especifique números de porta separados por vírgulas. O proxy sidecar intercepta o tráfego de entrada apenas nessas portas. O valor padrão * intercepta todo o tráfego de entrada.

Configurar no console

1. Expanda Enable/Disable Sidecar Proxy by Ports or IP Addresses.

2. No nível de namespace ou de carga de trabalho, selecione Ports on Which Inbound Traffic Redirected to Sidecar Proxy.

3. Insira 80,443 e clique em Update Settings.

4. Reimplante as cargas de trabalho para aplicar a alteração.

Verificar

O parâmetro -b no contêiner istio-init reflete as portas configuradas:

initContainers:
  - name: istio-init
    args:
      - '-b'
      - '80,443'

Tráfego de entrada: ignorar portas (lista de exclusão)

Especifique números de porta separados por vírgulas. O tráfego de entrada nessas portas ignora o proxy sidecar.

Por padrão, o proxy sidecar já exclui suas próprias portas de aplicação: 15090, 15021, 15081, 9191 e 15020.

Configurar no console

1. Expanda Enable/Disable Sidecar Proxy by Ports or IP Addresses.

2. No nível de namespace ou de carga de trabalho, selecione Ports on Which Inbound Traffic Not Redirected to Sidecar Proxy.

3. Insira 8000 e clique em Update Settings.

4. Reimplante as cargas de trabalho para aplicar a alteração.

Verificar

O parâmetro -d no contêiner istio-init inclui a porta 8000 juntamente com as portas excluídas por padrão:

initContainers:
  - name: istio-init
    args:
      - '-d'
      - '15090,15021,15081,9191,15020,8000'

Tráfego de saída: redirecionar portas (lista de inclusão)

Especifique números de porta separados por vírgulas. O proxy sidecar intercepta o tráfego de saída apenas para essas portas de destino.

Configurar no console

1. Expanda Enable/Disable Sidecar Proxy by Ports or IP Addresses.

2. No nível de namespace ou de carga de trabalho, selecione Ports on Which Outbound Traffic Redirected to Sidecar Proxy.

3. Insira 80,443 e clique em Update Settings.

4. Reimplante as cargas de trabalho para aplicar a alteração.

Verificar

O parâmetro -q no contêiner istio-init reflete as portas configuradas:

initContainers:
  - name: istio-init
    args:
      - '-q'
      - '80,443'

Tráfego de saída: ignorar portas (lista de exclusão)

Especifique números de porta separados por vírgulas. O tráfego de saída para essas portas ignora o proxy sidecar, independentemente de qualquer definição de endereço de redirecionamento ou porta de redirecionamento.

Configurar no console

1. Expanda Enable/Disable Sidecar Proxy by Ports or IP Addresses.

2. No nível de namespace ou de carga de trabalho, selecione Ports on Which Outbound Traffic Not Redirected to Sidecar Proxy.

3. Insira 8000 e clique em Update Settings.

4. Reimplante as cargas de trabalho para aplicar a alteração.

Verificar

O parâmetro -o no contêiner istio-init reflete a porta configurada:

initContainers:
  - name: istio-init
    args:
      - '-o'
      - '8000'

kubectl get pod -n <namespace> <pod-name> -o yaml

env:
  - name: ISTIO_META_DNS_AUTO_ALLOCATE
    value: 'true'
  - name: ISTIO_META_DNS_CAPTURE
    value: 'true'

Desligamento gracioso (EXIT_ON_ZERO_ACTIVE_CONNECTIONS)

Quando ativado, o proxy sidecar executa as seguintes ações durante a terminação do Pod:

1. O processo pilot-agent impede o Envoy de aceitar novas conexões de entrada.

2. Após uma espera de 5 segundos, o pilot-agent verifica a contagem de conexões ativas do Envoy.

3. Assim que as conexões ativas chegam a zero, o pilot-agent encerra o processo do Envoy.

Isso reduz as solicitações perdidas durante a terminação e minimiza o tempo de desligamento.

Configurar no console

1. Na página Sidecar Proxy Setting, selecione uma aba de escopo e expanda Manage Environment Variables for Sidecar Proxy.

2. No nível de namespace ou de carga de trabalho, selecione Sidecar Graceful Shutdown.

3. Ative a chave e clique em Update Settings.

4. Reimplante as cargas de trabalho para aplicar a alteração.

Verificar

kubectl get pod -n <namespace> <pod-name> -o yaml

Confirme a variável de ambiente no contêiner istio-proxy:

env:
  - name: EXIT_ON_ZERO_ACTIVE_CONNECTIONS
    value: 'true'

Inicialização graciosa

Por padrão, o proxy sidecar inicia antes dos contêineres da aplicação em um Pod. Isso evita perda de tráfego que poderia ocorrer se o tráfego de entrada chegasse à aplicação antes que o proxy sidecar estivesse pronto.

Desative essa definição para iniciar o proxy sidecar e os contêineres da aplicação simultaneamente. Isso pode acelerar implantações em clusters com muitos Pods onde o servidor de API está sob carga intensa.

Configurar no console (exemplo: nível global)

1. Na página Sidecar Proxy Setting, selecione a aba global e expanda Lifecycle Management.

2. Desative a chave ao lado de Sidecar Graceful Startup e clique em Update Settings.

3. Reimplante as cargas de trabalho para aplicar a alteração.

Verificar

kubectl get pod -n <namespace> <pod-name> -o yaml

Quando desativado, a variável de ambiente PROXY_CONFIG do contêiner istio-proxy contém "holdApplicationUntilProxyStarts":false, e nenhum campo de ciclo de vida padrão é declarado.

Duração de drenagem na terminação do Pod

Depois que um Pod começa a terminar, o proxy sidecar continua processando o tráfego de entrada existente por um período configurável antes de fechar as conexões. Esse período é a duração de drenagem. O padrão é 5s.

Se alguma API servida pela carga de trabalho levar mais tempo para responder do que a duração de drenagem, aumente este valor para evitar que solicitações em andamento sejam descartadas.

Configurar no console

1. Na página Sidecar Proxy Setting, selecione uma aba de escopo e expanda Lifecycle Management.

2. No nível de namespace ou de carga de trabalho, selecione Sidecar Proxy Drain Duration at Pod Termination.

3. Insira 10s e clique em Update Settings.

4. Reimplante as cargas de trabalho para aplicar a alteração.

Verificar

kubectl get pod -n <namespace> <pod-name> -o yaml

Confirme se o contêiner istio-proxy tem a duração de drenagem configurada:

env:
  - name: TERMINATION_DRAIN_DURATION_SECONDS
    value: '10'
  - name: PROXY_CONFIG
    value: >-
      {..."terminationDrainDuration":"10s"}

Hooks de ciclo de vida personalizados

Personalize os hooks de ciclo de vida do contêiner do Kubernetes para o contêiner do proxy sidecar fornecendo o campo lifecycle no formato JSON. Isso substitui a configuração padrão de ciclo de vida.

Configurar no console

1. Na página Sidecar Proxy Setting, selecione uma aba de escopo e expanda Lifecycle Management.

2. No nível de namespace ou de carga de trabalho, selecione Lifecycle of Sidecar Proxy.

3. Insira a configuração de ciclo de vida em JSON:

{
  "postStart": {
    "exec": {
      "command": [
        "pilot-agent",
        "wait"
      ]
    }
  },
  "preStop": {
    "exec": {
      "command": [
        "/bin/sh",
        "-c",
        "sleep 13"
      ]
    }
  }
}

Neste exemplo:

• postStart: Aguarda o pilot-agent e o Envoy iniciarem completamente após a criação do contêiner.

• preStop: Aguarda 13 segundos antes de o contêiner ser parado, permitindo que as solicitações em andamento sejam concluídas.

1. Clique em Update Settings.

2. Reimplante as cargas de trabalho para aplicar a alteração.

Verificar

kubectl get pod -n <namespace> <pod-name> -o yaml

Confirme se o contêiner istio-proxy possui os hooks de ciclo de vida esperados:

lifecycle:
  postStart:
    exec:
      command:
        - pilot-agent
        - wait
  preStop:
    exec:
      command:
        - /bin/sh
        - -c
        - sleep 13

apiVersion: v1
kind: ServiceAccount
metadata:
  name: sleep
---
apiVersion: v1
kind: Service
metadata:
  name: sleep
  labels:
    app: sleep
    service: sleep
spec:
  ports:
  - port: 80
    name: http
  selector:
    app: sleep
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: sleep
spec:
  replicas: 1
  selector:
    matchLabels:
      app: sleep
  template:
    metadata:
      labels:
        app: sleep
    spec:
      terminationGracePeriodSeconds: 0
      serviceAccountName: sleep
      containers:
      - name: sleep
        image: curlimages/curl
        command: ["/bin/sleep", "3650d"]
        imagePullPolicy: IfNotPresent
        volumeMounts:
        - mountPath: /etc/sleep/tls
          name: secret-volume
      volumes:
      - name: secret-volume
        secret:
          secretName: sleep-secret
          optional: true

kubectl apply -f sleep.yaml -n default

kubectl exec -it <sleep-pod-name> -c sleep -- curl www.aliyun.com -v

> GET / HTTP/1.1
> Host: www.aliyun.com
< HTTP/1.1 502 Bad Gateway
< server: envoy

kubectl get pod -n <namespace> <pod-name> -o yaml

# In istio-proxy container:
env:
  - name: PROXY_CONFIG
    value: >-
      {..."interceptionMode":"TPROXY",...}

# In istio-init container:
initContainers:
  - name: istio-init
    args:
      - '-m'
      - TPROXY

Nível de log

Defina o nível de log do proxy Envoy para o contêiner do proxy sidecar. O nível padrão é info.

Níveis disponíveis: debug, trace, info, warning, error, critical, off.

Configurar no console

1. Na página Sidecar Proxy Setting, selecione uma aba de escopo e expanda Monitoring Statistics.

2. No nível de namespace ou de carga de trabalho, selecione Log Level.

3. Selecione error na lista suspensa e clique em Update Settings.

4. Reimplante as cargas de trabalho para aplicar a alteração.

Verificar

kubectl get pod -n <namespace> <pod-name> -o yaml

Confirme o argumento --proxyLogLevel no contêiner istio-proxy:

containers:
  - name: istio-proxy
    args:
      - '--proxyLogLevel=error'

Métricas personalizadas do Envoy (proxyStatsMatcher)

Por padrão, o proxy sidecar relata apenas um subconjunto de métricas do Envoy para minimizar a sobrecarga de desempenho. Use proxyStatsMatcher para coletar métricas adicionais correspondendo nomes de métricas com prefixos, sufixos ou expressões regulares.

Configurar no console

1. Na página Sidecar Proxy Setting, selecione uma aba de escopo e expanda Monitoring Statistics.

2. Selecione proxyStatsMatcher e Regular Expression Match.

3. Insira .*outlier_detection.* para coletar métricas de disjuntor (circuit breaker).

4. Clique em Update Settings.

5. Reimplante as cargas de trabalho para aplicar a alteração.

Verificar

kubectl get pod -n <namespace> <pod-name> -o yaml

Confirme o proxyStatsMatcher na variável de ambiente PROXY_CONFIG:

env:
  - name: PROXY_CONFIG
    value: >-
      {..."proxyStatsMatcher":{"inclusionRegexps":[".*outlier_detection.*"]},...}

Limites de conexões downstream

Por padrão, o proxy sidecar não limita conexões downstream, o que pode ser explorado em cenários de negação de serviço. Consulte ISTIO-SECURITY-2020-007 para detalhes.

Defina um número máximo de conexões downstream para proteger suas cargas de trabalho.

Configurar no console

1. Na página Sidecar Proxy Setting, selecione uma aba de escopo.

2. Na seção Envoy Runtime Parameters, insira 5000 ao lado de Limits on Downstream Connections e clique em Update Settings.

3. Reimplante as cargas de trabalho para aplicar a alteração.

Verificar

kubectl get pod -n <namespace> <pod-name> -o yaml

Confirme o campo runtimeValues na variável de ambiente PROXY_CONFIG:

env:
  - name: PROXY_CONFIG
    value: >-
      {..."runtimeValues":{"overload.global_downstream_max_connections":"5000"},...}