Container Service for Kubernetes:Ativar overcommitment dinâmico de recursos

Como funciona

O ack-koordinator rastreia continuamente a carga por nó e publica a capacidade recuperável como recursos estendidos em cada nó. Pods BestEffort declaram solicitações e limites explícitos para esses recursos Batch, permitindo que o agendador do ACK tome decisões informadas de alocação e aplique limites de recursos por meio da hierarquia de cgroups do nó.

O diagrama a seguir ilustra por que o overcommitment de recursos padrão é insuficiente:

Sem o overcommitment dinâmico, o agendador não tem visibilidade da carga real do nó e pode alocar pods BestEffort em nós já sobrecarregados. Além disso, não há como expressar quantidades diferentes de recursos por pod, impedindo a distribuição justa entre pods BestEffort.

O ack-koordinator introduz três termos para descrever a capacidade de recursos recuperados:

Faturamento

Não há cobrança para instalar ou usar o componente ack-koordinator. Observe o seguinte:

• O ack-koordinator é um componente não gerenciado. Após a instalação, ele ocupa recursos nos nós workers. Especifique as solicitações de recursos por módulo durante a instalação.

• O ack-koordinator pode expor métricas do Prometheus para funcionalidades como perfilamento de recursos e agendamento refinado. Se você ativar as métricas do Prometheus para o ack-koordinator e usar o Managed Service for Prometheus, essas métricas serão contabilizadas como métricas personalizadas e faturadas adequadamente. Antes de ativar, revise o tópico Faturamento do Managed Service for Prometheus e leia Consultar a quantidade de dados observáveis e faturas para entender como os custos são calculados.

Pré-requisitos

Antes de começar, certifique-se de ter:

• Um cluster ACK Pro. Para mais informações, consulte Criar um cluster ACK Pro.

• O componente ack-koordinator instalado na versão 0.8.0 ou posterior. Para mais informações, consulte ack-koordinator.

Ativar overcommitment dinâmico de recursos

Ative e configure o recurso criando ou atualizando um ConfigMap no namespace kube-system.

apiVersion: v1
kind: ConfigMap
metadata:
  name: ack-slo-config
  namespace: kube-system
data:
  # colocation-config controls dynamic Batch resource calculation and updates.
  # Related features: Dynamic resource overcommitment, load-aware scheduling.
  colocation-config: |
    {
      "enable": true,                        # Required: enables Batch resource updates. Setting to false resets reclaimed resources to 0.
      "metricAggregateDurationSeconds": 60,  # How often (seconds) node metrics are aggregated. Use the default value.
      "cpuReclaimThresholdPercent": 60,      # Reclaim threshold for batch-cpu, as a % of allocatable CPU. Default: 65.
      "memoryReclaimThresholdPercent": 70,   # Reclaim threshold for batch-memory, as a % of allocatable memory. Default: 65.
      "memoryCalculatePolicy": "usage"       # How batch-memory capacity is calculated: "usage" (default) or "request".
    }

nodeBatchAllocatable = nodeAllocatable × thresholdPercent − podUsage(non-BE) − systemUsage

nodeBatchAllocatable = nodeAllocatable × thresholdPercent − podRequest(non-BE) − systemUsage

Solicitar recursos Batch

Após ativar o overcommitment dinâmico de recursos, configure os pods para solicitar recursos Batch.

# Replace $nodeName with the actual node name.
kubectl get node $nodeName -o yaml

status:
  allocatable:
    # Unit: millicore. The following example shows 50 cores available.
    kubernetes.io/batch-cpu: 50000
    # Unit: bytes. The following example shows 50 GB available.
    kubernetes.io/batch-memory: 53687091200

metadata:
  labels:
    # Required: sets the pod's QoS class to BestEffort.
    koordinator.sh/qosClass: "BE"
spec:
  containers:
  - resources:
      requests:
        # Unit: millicore. "1k" = 1000 millicores = 1 core.
        kubernetes.io/batch-cpu: "1k"
        # Unit: bytes.
        kubernetes.io/batch-memory: "1Gi"
      limits:
        kubernetes.io/batch-cpu: "1k"
        kubernetes.io/batch-memory: "1Gi"

Exemplo

Este exemplo implanta um pod de teste BestEffort que usa recursos Batch e verifica se os limites de recursos são aplicados no cgroup do nó.

1. Verifique os recursos Batch disponíveis no nó:

   kubectl get node $nodeName -o yaml

   Saída esperada:

   status:
     allocatable:
       kubernetes.io/batch-cpu: 50000
       kubernetes.io/batch-memory: 53687091200

2. Crie um arquivo chamado be-pod-demo.yaml:

   apiVersion: v1
   kind: Pod
   metadata:
     labels:
       koordinator.sh/qosClass: "BE"
     name: be-demo
   spec:
     containers:
     - command:
       - "sleep"
       - "100h"
       image: registry-cn-beijing.ack.aliyuncs.com/acs/stress:v1.0.4
       imagePullPolicy: Always
       name: be-demo
       resources:
         limits:
           kubernetes.io/batch-cpu: "50k"
           kubernetes.io/batch-memory: "10Gi"
         requests:
           kubernetes.io/batch-cpu: "50k"
           kubernetes.io/batch-memory: "10Gi"
     schedulerName: default-scheduler

3. Implante o pod:

   kubectl apply -f be-pod-demo.yaml

4. Verifique se os limites de recursos estão refletidos no cgroup do nó. Confira o limite de CPU:

   cat /sys/fs/cgroup/cpu,cpuacct/kubepods.slice/kubepods-besteffort.slice/kubepods-besteffort-pod4b6e96c8_042d_471c_b6ef_b7e0686a****.slice/cri-containerd-11111c202adfefdd63d7d002ccde8907d08291e706671438c4ccedfecba5****.scope/cpu.cfs_quota_us

   Saída esperada (50 cores):

   5000000

   Confira o limite de memória:

   cat /sys/fs/cgroup/memory/kubepods.slice/kubepods-besteffort.slice/kubepods-besteffort-pod4b6e96c8_042d_471c_b6ef_b7e0686a****.slice/cri-containerd-11111c202adfefdd63d7d002ccde8907d08291e706671438c4ccedfecba5****.scope/memory.limit_in_bytes

   Saída esperada (10 GB):

   10737418240

Monitorar o uso de recursos Batch

Clusters ACK integram-se ao Managed Service for Prometheus. Para visualizar o uso de recursos Batch:

1. Faça login no console do ACK. No painel de navegação à esquerda, clique em console do ACKClusters.

2. Na página Clusters, clique no nome do cluster desejado. No painel à esquerda, escolha Operations > Prometheus Monitoring.

3. Clique na aba Others e, em seguida, na aba k8s-reclaimed-resource. Este painel mostra a receita mista do cluster e a capacidade de recursos nos níveis de cluster, nó e pod. Para mais informações, consulte Ativar o recurso de monitoramento de colocation.

Se você criou um painel personalizado do Prometheus, use as seguintes métricas para consultar dados de recursos Batch:

# Allocatable batch-cpu on the node
koordlet_node_resource_allocatable{resource="kubernetes.io/batch-cpu",node="$node"}
# batch-cpu already allocated on the node
koordlet_container_resource_requests{resource="kubernetes.io/batch-cpu",node="$node"}
# Allocatable batch-memory on the node
kube_node_status_allocatable{resource="kubernetes.io/batch-memory",node="$node"}
# batch-memory already allocated on the node
koordlet_container_resource_requests{resource="kubernetes.io/batch-memory",node="$node"}

Perguntas frequentes

# Unit: bytes
cat /sys/fs/cgroup/memory/memory.limit_in_bytes
# Expected output example
1048576000

Próximos passos

O ack-koordinator fornece controles adicionais para proteger cargas de trabalho online contra interferências causadas por pods BestEffort. Consulte os seguintes tópicos:

• Ativar supressão de CPU

• Ativar QoS de CPU para contêineres

• Ativar QoS de CPU do contêiner

• Ativar isolamento de recursos com base no cache L3 e MBA