Alibaba Cloud Service Mesh:Configure global rate limiting for sidecar inbound traffic

Client request --> Envoy sidecar --> Rate limit service (gRPC) --> Redis
                       |
              Allow or deny (HTTP 429)

Etapa 1: Criar o CR ASMGlobalRateLimiter

1. Crie um arquivo chamado global-ratelimit-svc.yaml:

   global-ratelimit-svc.yaml

   apiVersion: istio.alibabacloud.com/v1beta1
      kind: ASMGlobalRateLimiter
      metadata:
        name: global-svc-test
        namespace: default
      spec:
        workloadSelector:
          labels:
            app: httpbin
        rateLimitService:
          host: ratelimit.default.svc.cluster.local
          port: 8081
          timeout:
            seconds: 5
        isGateway: false
        configs:
        - name: httpbin
          limit:
            unit: MINUTE
            quota: 1
          match:
            vhost:
              name: '*'
              port: 8000

   A tabela a seguir explica os principais campos. Para obter a referência completa dos campos, consulte Descrições dos campos do ASMGlobalRateLimiter.

   Campo	Descrição
   workloadSelector	Seleciona a carga de trabalho alvo. Defina app: httpbin para aplicar a limitação de taxa ao serviço HTTPBin.
   isGateway	Defina como false porque a regra tem como alvo uma carga de trabalho sidecar, não um gateway de entrada.
   rateLimitService	Configurações de conexão para o serviço de limitação de taxa: nome do host, porta gRPC (8081) e tempo limite de 5 segundos.
   limit	Limiar de limitação de taxa. unit: MINUTE e quota: 1 significam 1 requisição por minuto na rota correspondente.
   vhost	Corresponde ao host virtual. name: '*' com port: 8000 aplica a regra a todas as requisições na porta 8000 do HTTPBin.

2. Execute o seguinte comando na instância ASM para aplicar o CR:

   kubectl apply -f global-ratelimit-svc.yaml

Etapa 2: Sincronizar a configuração de limitação de taxa com o plano de dados

Após o processamento do CR pelo ASM, ele gera a configuração do serviço de limitação de taxa no campo status.config.yaml. Copie essa configuração para o ConfigMap do serviço de limitação de taxa no cluster ACK. Essa sincronização manual é necessária porque o plano de controle do ASM e o plano de dados do ACK executam em clusters separados.

1. Recupere a configuração gerada na instância ASM:

   kubectl get asmglobalratelimiter global-svc-test -o yaml

   Na saída, localize a seção status:

   Saída esperada

   status:
        config.yaml: |
          descriptors:
          - key: generic_key
            rate_limit:
              requests_per_unit: 1
              unit: MINUTE
            value: RateLimit[global-svc-test.default]-Id[3833670472]
          domain: ratelimit.default.svc.cluster.local
        message: ok
        status: successful

2. Crie um arquivo ratelimit-config.yaml. Copie o conteúdo de config.yaml da seção status para o campo data.config.yaml do ConfigMap exatamente como mostrado:

   Importante

   Copie o valor de config.yaml da seção status sem modificações. Qualquer alteração fará com que o serviço de limitação de taxa rejeite a configuração.

   ratelimit-config.yaml

   apiVersion: v1
      kind: ConfigMap
      metadata:
        name: ratelimit-config
      data:
        config.yaml: |
          descriptors:
          - key: header_match
            rate_limit:
              requests_per_unit: 1
              unit: MINUTE
            value: RateLimit[global-svc-test.default]-Id[1492204717]
          domain: ratelimit.default.svc.cluster.local

3. Aplique o ConfigMap no cluster ACK:

   kubectl apply -f ratelimit-config.yaml

Verificar

Envie duas requisições para a porta 8000 do HTTPBin a partir do pod sleep:

kubectl exec -it deploy/sleep -- sh

Em seguida, execute:

curl httpbin:8000/get -v
curl httpbin:8000/get -v

Saída esperada para a segunda requisição:

< HTTP/1.1 429
< x-envoy-ratelimited: true
< x-ratelimit-limit: 1, 1;w=60
< x-ratelimit-remaining: 0
< x-ratelimit-reset: 5
< date: Thu, 26 Oct 2023 04:23:54 GMT
< server: envoy
< content-length: 0
< x-envoy-upstream-service-time: 2
<
* Connection #0 to host httpbin left intact

A segunda requisição retorna 429, confirmando que a limitação de taxa global está ativa. Apenas uma requisição tem permissão para acessar o serviço HTTPBin dentro de um minuto. Ao enviar uma segunda requisição, o throttling é acionado, indicando que a limitação de taxa global entrou em vigor no tráfego de entrada do serviço onde o proxy sidecar foi injetado.

Etapa 1: Criar o CR ASMGlobalRateLimiter

Escolha o YAML correspondente à sua versão do ASM:

apiVersion: istio.alibabacloud.com/v1beta1
kind: ASMGlobalRateLimiter
metadata:
  name: global-svc-test
  namespace: default
spec:
  workloadSelector:
    labels:
      app: httpbin
  rateLimitService:
    host: ratelimit.default.svc.cluster.local
    port: 8081
    timeout:
      seconds: 5
  isGateway: false
  configs:
  - name: httpbin
    limit:
      unit: MINUTE
      quota: 1
    match:
      vhost:
        name: '*'
        port: 8000
        route:
          header_match:
          - name: ":path"
            prefix_match: "/headers"

apiVersion: istio.alibabacloud.com/v1beta1
kind: ASMGlobalRateLimiter
metadata:
  name: global-svc-test
  namespace: default
spec:
  workloadSelector:
    labels:
      app: httpbin
  rateLimitService:
    host: ratelimit.default.svc.cluster.local
    port: 8081
    timeout:
      seconds: 5
  isGateway: false
  configs:
  - name: httpbin
    limit:
      unit: SECOND
      quota: 100000
    match:
      vhost:
        name: '*'
        port: 8000
    limit_overrides:
    - request_match:
        header_match:
        - name: ":path"
          prefix_match: "/headers"
      limit:
        unit: MINUTE
        quota: 1

A tabela a seguir explica os campos adicionais utilizados neste cenário:

Etapa 2: Sincronizar a configuração de limitação de taxa com o plano de dados

Siga o mesmo processo do Cenário 1:

1. Recupere a configuração gerada na instância ASM:

   kubectl get asmglobalratelimiter global-svc-test -o yaml

   Saída de status esperada (V1.19.0+)

   status:
        config.yaml: |
          descriptors:
          - descriptors:
            - key: header_match
              rate_limit:
                requests_per_unit: 1
                unit: MINUTE
              value: RateLimit[global-svc-test.default]-Id[2613586978]
            key: generic_key
            rate_limit:
              requests_per_unit: 100000
              unit: SECOND
            value: RateLimit[global-svc-test.default]-Id[2613586978]
          domain: ratelimit.default.svc.cluster.local
        message: ok
        status: successful

2. Copie o config.yaml da seção status para um ConfigMap e aplique-o no cluster ACK:

   ratelimit-config.yaml

   apiVersion: v1
      kind: ConfigMap
      metadata:
        name: ratelimit-config
      data:
        config.yaml: |
          descriptors:
          - descriptors:
            - key: header_match
              rate_limit:
                requests_per_unit: 1
                unit: MINUTE
              value: RateLimit[global-svc-test.default]-Id[2613586978]
            key: generic_key
            rate_limit:
              requests_per_unit: 100000
              unit: SECOND
            value: RateLimit[global-svc-test.default]-Id[2613586978]
          domain: ratelimit.default.svc.cluster.local

   kubectl apply -f ratelimit-config.yaml

Verificar

1. Envie duas requisições para o caminho /headers a partir do pod sleep:

   kubectl exec -it deploy/sleep -- sh

   Em seguida, execute:

   curl httpbin:8000/headers -v
   curl httpbin:8000/headers -v

   Saída esperada para a segunda requisição:

   < HTTP/1.1 429 Too Many Requests
      < x-envoy-ratelimited: true
      < x-ratelimit-limit: 1, 1;w=60
      < x-ratelimit-remaining: 0
      < x-ratelimit-reset: 5
      < date: Thu, 26 Oct 2023 04:23:54 GMT
      < server: envoy
      < content-length: 0
      < x-envoy-upstream-service-time: 2
      <
      * Connection #0 to host httpbin left intact

   A segunda requisição para /headers sofreu limitação de taxa. Apenas uma requisição tem permissão para acessar o caminho /headers do serviço HTTPBin dentro de um minuto.

2. Confirme se outros caminhos não foram afetados:

   curl httpbin:8000/get -v

   Saída esperada

   *   Trying 192.168.243.21:8000...
      * Connected to httpbin (192.168.243.21) port 8000 (#0)
      > GET /get HTTP/1.1
      > Host: httpbin:8000
      > User-Agent: curl/8.1.2
      > Accept: */*
      >
      < HTTP/1.1 200 OK
      < server: envoy
      < date: Thu, 11 Jan 2024 06:25:09 GMT
      < content-type: application/json
      < content-length: 431
      < access-control-allow-origin: *
      < access-control-allow-credentials: true
      < x-envoy-upstream-service-time: 7
      <
      {
        "args": {},
        "headers": {
          "Accept": "*/*",
          "Host": "httpbin:8000",
          "User-Agent": "curl/8.1.2",
          "X-Envoy-Attempt-Count": "1",
          "X-Forwarded-Client-Cert": "By=spiffe://cluster.local/ns/default/sa/httpbin;Hash=be10819991ba1a354a89e68b3bed1553c12a4fba8b65fbe0f16299d552680b29;Subject=\"\";URI=spiffe://cluster.local/ns/default/sa/sleep"
        },
        "origin": "127.0.0.6",
        "url": "http://httpbin:8000/get"
      }
      * Connection #0 to host httpbin left intact

   As requisições para /get são bem-sucedidas porque apenas o caminho /headers está sujeito à limitação de taxa.

Habilitar relatório de métricas

1. Configure proxyStatsMatcher para o proxy sidecar. Selecione Regular Expression Match e defina o valor como .*ratelimit.*. Para mais informações, consulte a seção "proxyStatsMatcher" em Configurar proxies sidecar.

2. Reimplante o serviço HTTPBin para aplicar a nova configuração de proxy. Para mais informações, consulte a seção "(Optional) Redeploy workloads" em Configurar proxies sidecar.

3. Configure a limitação de taxa global e realize testes de requisição. Para mais informações, consulte o Cenário 1 ou Configurar limitação de taxa local no Traffic Management Center.

4. Execute o comando a seguir para visualizar as métricas de limitação de taxa global do serviço HTTPBin:

   kubectl exec -it deploy/httpbin -c istio-proxy -- curl localhost:15090/stats/prometheus|grep envoy_cluster_ratelimit

   Exemplo de saída:

   # TYPE envoy_cluster_ratelimit_ok counter
   envoy_cluster_ratelimit_ok{cluster_name="inbound|80||"} 904
   # TYPE envoy_cluster_ratelimit_over_limit counter
   envoy_cluster_ratelimit_over_limit{cluster_name="inbound|80||"} 3223

Configurar alertas do Prometheus

Utilize o Managed Service for Prometheus para coletar métricas de limitação de taxa e disparar alertas quando ocorrer limitação.

1. Conecte o cluster ACK ao componente Alibaba Cloud ASM no Managed Service for Prometheus ou atualize o componente para a versão mais recente. Para mais informações, consulte Gerenciar componentes.

   Nota

   Se você já utiliza uma instância auto-gerenciada do Prometheus para coletar métricas do ASM, pule esta etapa. Para mais informações, consulte Monitorar instâncias ASM usando uma instância auto-gerenciada do Prometheus.

2. Crie uma regra de alerta personalizada com o seguinte PromQL e modelo de mensagem. Para instruções detalhadas, consulte Criar uma regra de alerta com uma instrução PromQL personalizada. Esta regra dispara quando qualquer serviço tiver pelo menos uma requisição com taxa limitada em uma janela contínua de um minuto, agrupada por namespace e nome do serviço.

   Parâmetro	Valor de exemplo
   Instrução PromQL	(sum by(namespace, service_istio_io_canonical_name) (increase(envoy_cluster_ratelimit_over_limit[1m]))) > 0
   Mensagem de alerta	Global rate limiting triggered. Namespace: {{$labels.namespace}}. Service: {{$labels.service_istio_io_canonical_name}}. Throttled requests in the last minute: {{ $value }}