Container Service for Kubernetes:CPU topology-aware scheduling

Como funciona

Por padrão, o Kubernetes utiliza o Completely Fair Scheduler (CFS) do kernel para distribuir fatias de tempo de CPU entre todos os núcleos. O CFS ignora a topologia física da CPU, o que pode causar latência imprevisível em aplicações sensíveis ao desempenho.

O CPU Manager do Kubernetes (com a política static) consegue vincular pods a núcleos de CPU exclusivos, mas apresenta três limitações:

• Falta de reconhecimento de topologia no nível do cluster: O kube-scheduler nativo opera apenas no nível do nó e não tem visibilidade da topologia de CPU de todo o cluster.

• Ausência de suporte a NUMA: A política static não considera a arquitetura NUMA ao alocar núcleos. Isso pode forçar o acesso à memória entre nós NUMA distintos e introduzir latência adicional.

• Guaranteed QoS only: Esta política se aplica somente a pods com classe de QoS Guaranteed. Não é compatível com pods Burstable ou BestEffort.

O ACK resolve essas limitações por meio da colaboração entre o kube-scheduler do ACK e o ack-koordinator, desenvolvidos sobre o Kubernetes Scheduling Framework:

1. Relatório de topologia do nó: O ack-koordinator detecta continuamente a topologia física local da CPU — incluindo soquetes, nós NUMA e caches — e envia esses dados ao centro de agendamento.

2. Agendamento global com reconhecimento de topologia: O kube-scheduler utiliza os dados de topologia de todo o cluster para selecionar o nó ideal para cada pod e planejar o esquema de alocação de núcleos. Por padrão, o agendador escolhe o núcleo com o menor número de aplicações vinculadas. O esquema de alocação resultante é gravado na anotação do pod.

3. Fixação local de núcleos: Após o pod ser criado no nó de destino, o ack-koordinator lê a anotação do pod e modifica o arquivo cpuset.cpus no cgroup do pod para vinculá-lo aos núcleos físicos atribuídos.

Casos de uso

O agendamento com reconhecimento de topologia de CPU é mais adequado para as seguintes cargas de trabalho:

• Aplicações sensíveis à latência: Sistemas de negociação de alta frequência e pipelines de processamento de dados em tempo real não toleram atrasos causados pela troca de contexto da CPU. Sem a fixação de CPU, o agendador CFS pode migrar seu processo entre núcleos durante a execução — algo inofensivo em ambiente de teste, mas mensurável em produção sob carga.

• Aplicações sensíveis a NUMA: Cargas de trabalho em servidores multi-soquete (como Instâncias Bare Metal Elásticas AMD ou Intel) sofrem latência mensurável quando os acessos à memória cruzam limites NUMA. Fixar núcleos dentro de um único nó NUMA elimina essa sobrecarga.

• Computação determinística: Tarefas de computação científica e análise de big data exigem throughput de CPU estável e previsível. A fixação elimina a variabilidade introduzida pelo compartilhamento de núcleos com outras cargas de trabalho.

• Aplicações legadas sem suporte a limites de CPU de contêiner: Aplicações que criam threads com base na contagem total de núcleos físicos do host, em vez do limite de CPU do contêiner, beneficiam-se da fixação, que vincula o processo a um conjunto específico de núcleos.

Escolha uma política de fixação

O ACK oferece duas políticas de fixação:

Pré-requisitos

Antes de começar, verifique se você possui:

• Um cluster gerenciado ACK da edição Pro

• Um pool de nós com cpuManagerPolicy definido como none. Para mais informações, consulte Personalizar configurações do kubelet para um pool de nós

• ack-koordinator instalado na versão 0.2.0 ou posterior. Para instruções de instalação, consulte ack-koordinator

Etapa 2: Ativar o agendamento com reconhecimento de topologia de CPU

Ative o agendamento com reconhecimento de topologia de CPU adicionando anotações à especificação do pod.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
  namespace: default
  labels:
    app: nginx
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      annotations:
        cpuset-scheduler: "true"  # Enables CPU topology-aware scheduling
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: alibaba-cloud-linux-3-registry.cn-hangzhou.cr.aliyuncs.com/alinux3/nginx_optimized:20240221-1.20.1-2.3.0
        ports:
        - containerPort: 80
        command:
        - "sleep"
        - "infinity"
        resources:
          requests:
            cpu: 4
            memory: 8Gi
          limits:
            cpu: 4       # Must be an integer
            memory: 8Gi

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
  namespace: default
  labels:
    app: nginx
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      annotations:
        cpuset-scheduler: "true"    # Enables CPU topology-aware scheduling
        cpu-policy: "static-burst"  # Enables automatic pinning and NUMA affinity
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: alibaba-cloud-linux-3-registry.cn-hangzhou.cr.aliyuncs.com/alinux3/nginx_optimized:20240221-1.20.1-2.3.0
        ports:
        - containerPort: 80
        command:
        - "sleep"
        - "infinity"
        resources:
          requests:
            cpu: 4
            memory: 8Gi
          limits:
            cpu: 4       # Must be an integer
            memory: 8Gi

Aplicar em produção

Desativar o agendamento com reconhecimento de topologia de CPU

1. Edite o arquivo YAML da aplicação. Remova a anotação cpuset-scheduler: "true" — e a anotação cpu-policy: "static-burst" se presente — de spec.template.metadata.annotations.

2. Aplique o arquivo YAML modificado fora do horário de pico. As alterações entram em vigor após a reinicialização do pod.

Faturamento

O ack-koordinator é gratuito para instalação e uso. Cobranças adicionais podem ser aplicadas nos seguintes casos:

• O ack-koordinator é um componente não gerenciado que consome recursos dos nós worker após a instalação. Configure as solicitações de recursos para cada módulo no momento da instalação.

• Se você selecionar a opção Enable Prometheus monitoring for ACK-Koordinator e utilizar o Prometheus da Alibaba Cloud, as métricas de monitoramento serão contabilizadas como métricas personalizadas e incorrerão em taxas. O custo depende do tamanho do seu cluster e do número de aplicações. Antes de ativar esta opção, revise as informações de faturamento do Prometheus para entender a cota gratuita e os preços. Acompanhe seu uso consultando seus dados de utilização.

Próximos passos

• Agendamento com reconhecimento de topologia de GPU — selecione a combinação ideal de GPUs em um nó para maximizar a velocidade de treinamento.

• Overcommitment dinâmico de recursos — recupere recursos do cluster alocados, mas não utilizados, e disponibilize-os para tarefas de baixa prioridade.