Container Service for Kubernetes:Enable dynamic resource overcommitment

Nasıl çalışır?

ack-koordinator, düğüm başına yükü sürekli olarak izler ve geri kazanılabilir kapasiteyi her düğümde genişletilmiş kaynaklar olarak yayımlar. BestEffort pod'ları bu Batch kaynaklarına karşı açık istekler ve sınırlar belirtir; böylece ACK zamanlayıcısı bilinçli yerleştirme kararları alabilir ve düğümün cgroup hiyerarşisi üzerinden kaynak sınırlarını uygulayabilir.

Aşağıdaki diyagram, standart kaynak aşırı tahsisinin neden yetersiz kaldığını gösterir:

Dinamik aşırı tahsis olmadan zamanlayıcı gerçek düğüm yükünü göremez; bu nedenle BestEffort pod'larını zaten aşırı yüklenmiş düğümlere yerleştirebilir. Ayrıca pod başına farklı kaynak miktarlarını ifade etmenin bir yolu yoktur, dolayısıyla kaynaklar BestEffort pod'ları arasında adil dağıtılamaz.

ack-koordinator, geri kazanılan kaynak kapasitesini tanımlamak için üç terim kullanır:

Faturalama

ack-koordinator bileşenini yüklemek veya kullanmak için ücret alınmaz. Aşağıdaki hususlara dikkat edin:

• ack-koordinator yönetilmeyen bir bileşendir. Yüklemeden sonra çalışan düğüm kaynaklarını tüketir. Yükleme sırasında modül başına kaynak isteklerini belirtin.

• ack-koordinator, kaynak profilleme ve ince ayarlı zamanlama gibi özellikler için Prometheus ölçümlerini sunabilir. ack-koordinator için Prometheus ölçümlerini etkinleştirir ve Managed Service for Prometheus kullanırsanız bu ölçümler custom metrics olarak sayılır ve buna göre faturalandırılır. Etkinleştirmeden önce Managed Service for Prometheus için Billing konusunu inceleyin ve maliyetlerin nasıl hesaplandığını anlamak üzere Query the amount of observable data and bills bölümünü okuyun.

Ön koşullar

Başlamadan önce aşağıdakileri sağladığınızdan emin olun:

• Bir ACK Pro kümesi. Daha fazla bilgi için bkz. ACK Pro kümesi oluşturma.

• Sürümü 0.8.0 veya üzeri olan ack-koordinator bileşeni yüklü olmalıdır. Daha fazla bilgi için bkz. ack-koordinator.

Dinamik kaynak aşırı tahsisini etkinleştirin

kube-system ad alanında bir ConfigMap oluşturarak veya güncelleyerek özelliği etkinleştirin ve yapılandırın.

apiVersion: v1
kind: ConfigMap
metadata:
  name: ack-slo-config
  namespace: kube-system
data:
  # colocation-config controls dynamic Batch resource calculation and updates.
  # Related features: Dynamic resource overcommitment, load-aware scheduling.
  colocation-config: |
    {
      "enable": true,                        # Required: enables Batch resource updates. Setting to false resets reclaimed resources to 0.
      "metricAggregateDurationSeconds": 60,  # How often (seconds) node metrics are aggregated. Use the default value.
      "cpuReclaimThresholdPercent": 60,      # Reclaim threshold for batch-cpu, as a % of allocatable CPU. Default: 65.
      "memoryReclaimThresholdPercent": 70,   # Reclaim threshold for batch-memory, as a % of allocatable memory. Default: 65.
      "memoryCalculatePolicy": "usage"       # How batch-memory capacity is calculated: "usage" (default) or "request".
    }

nodeBatchAllocatable = nodeAllocatable × thresholdPercent − podUsage(non-BE) − systemUsage

nodeBatchAllocatable = nodeAllocatable × thresholdPercent − podRequest(non-BE) − systemUsage

Batch kaynakları için başvuru yapın

Dinamik kaynak aşırı tahsisini etkinleştirdikten sonra pod'ları Batch kaynakları isteyecek şekilde yapılandırın.

# Replace $nodeName with the actual node name.
kubectl get node $nodeName -o yaml

status:
  allocatable:
    # Unit: millicore. The following example shows 50 cores available.
    kubernetes.io/batch-cpu: 50000
    # Unit: bytes. The following example shows 50 GB available.
    kubernetes.io/batch-memory: 53687091200

metadata:
  labels:
    # Required: sets the pod's QoS class to BestEffort.
    koordinator.sh/qosClass: "BE"
spec:
  containers:
  - resources:
      requests:
        # Unit: millicore. "1k" = 1000 millicores = 1 core.
        kubernetes.io/batch-cpu: "1k"
        # Unit: bytes.
        kubernetes.io/batch-memory: "1Gi"
      limits:
        kubernetes.io/batch-cpu: "1k"
        kubernetes.io/batch-memory: "1Gi"

Örnek

Bu örnekte Batch kaynaklarını kullanan bir BestEffort test pod'u dağıtılır ve kaynak sınırlarının düğümün cgroup'unda uygulandığı doğrulanır.

1. Düğümdeki mevcut Batch kaynaklarını kontrol edin:

   kubectl get node $nodeName -o yaml

   Beklenen çıktı:

   status:
     allocatable:
       kubernetes.io/batch-cpu: 50000
       kubernetes.io/batch-memory: 53687091200

2. be-pod-demo.yaml adlı bir dosya oluşturun:

   apiVersion: v1
   kind: Pod
   metadata:
     labels:
       koordinator.sh/qosClass: "BE"
     name: be-demo
   spec:
     containers:
     - command:
       - "sleep"
       - "100h"
       image: registry-cn-beijing.ack.aliyuncs.com/acs/stress:v1.0.4
       imagePullPolicy: Always
       name: be-demo
       resources:
         limits:
           kubernetes.io/batch-cpu: "50k"
           kubernetes.io/batch-memory: "10Gi"
         requests:
           kubernetes.io/batch-cpu: "50k"
           kubernetes.io/batch-memory: "10Gi"
     schedulerName: default-scheduler

3. Pod'u dağıtın:

   kubectl apply -f be-pod-demo.yaml

4. Kaynak sınırlarının düğümün cgroup'unda yansıtıldığını doğrulayın. CPU sınırını kontrol edin:

   cat /sys/fs/cgroup/cpu,cpuacct/kubepods.slice/kubepods-besteffort.slice/kubepods-besteffort-pod4b6e96c8_042d_471c_b6ef_b7e0686a****.slice/cri-containerd-11111c202adfefdd63d7d002ccde8907d08291e706671438c4ccedfecba5****.scope/cpu.cfs_quota_us

   Beklenen çıktı (50 çekirdek):

   5000000

   Bellek sınırını kontrol edin:

   cat /sys/fs/cgroup/memory/kubepods.slice/kubepods-besteffort.slice/kubepods-besteffort-pod4b6e96c8_042d_471c_b6ef_b7e0686a****.slice/cri-containerd-11111c202adfefdd63d7d002ccde8907d08291e706671438c4ccedfecba5****.scope/memory.limit_in_bytes

   Beklenen çıktı (10 GB):

   10737418240

Batch kaynak kullanımını izleyin

ACK kümeleri Managed Service for Prometheus ile entegredir. Batch kaynak kullanımını görüntülemek için:

1. ACK console adresine gidin. Sol gezinme bölmesinde ACK consoleClusters seçeneğine tıklayın.

2. Clusters sayfasında hedef kümenin adına tıklayın. Sol bölmede Operations > Prometheus Monitoring seçeneğini belirleyin.

3. Others sekmesine tıklayın, ardından k8s-reclaimed-resource sekmesine tıklayın. Bu pano, küme karma gelirini ve küme, düğüm ve pod düzeylerinde kaynak kapasitesini gösterir. Daha fazla bilgi için bkz. Birlikte barındırma izleme özelliğini etkinleştirme.

Özel bir Prometheus panosu oluşturduysanız Batch kaynak verilerini sorgulamak için aşağıdaki ölçümleri kullanın:

# Allocatable batch-cpu on the node
koordlet_node_resource_allocatable{resource="kubernetes.io/batch-cpu",node="$node"}
# batch-cpu already allocated on the node
koordlet_container_resource_requests{resource="kubernetes.io/batch-cpu",node="$node"}
# Allocatable batch-memory on the node
kube_node_status_allocatable{resource="kubernetes.io/batch-memory",node="$node"}
# batch-memory already allocated on the node
koordlet_container_resource_requests{resource="kubernetes.io/batch-memory",node="$node"}

SSS

# Unit: bytes
cat /sys/fs/cgroup/memory/memory.limit_in_bytes
# Expected output example
1048576000

Sonraki adımlar

ack-koordinator, BestEffort pod'larının neden olduğu parazitlerden çevrimiçi iş yüklerini korumak için ek denetimler sağlar. Aşağıdaki konulara bakın:

• CPU Suppress'ı etkinleştirme

• Konteynerler için CPU QoS'yu etkinleştirme

• Konteyner CPU QoS'yu etkinleştirme

• L3 önbelleği ve MBA'ya dayalı kaynak yalıtımını etkinleştirme