容器服务 Kubernetes 版 ACK：动态资源超卖

费用说明

ack-koordinator组件本身的安装和使用是免费的，不过需要注意的是，在以下场景中可能产生额外的费用：

• ack-koordinator是非托管组件，安装后将占用Worker节点资源。您可以在安装组件时配置各模块的资源申请量。

• ack-koordinator默认会将资源画像、精细化调度等功能的监控指标以Prometheus的格式对外透出。若您配置组件时开启了ACK-Koordinator开启Prometheus监控指标选项并使用了阿里云Prometheus服务，这些指标将被视为自定义指标并产生相应费用。具体费用取决于您的集群规模和应用数量等因素。建议您在启用此功能前，仔细阅读阿里云Prometheus计费说明，了解自定义指标的免费额度和收费策略。您可以通过账单和用量查询，监控和管理您的资源使用情况。

使用限制

操作步骤

1. 使用以下命令，查看当前Batch资源总量。

   查看前请确保对应配置已经开启，详见步骤3中的描述。

   # 将$nodeName替换为要查询的目标节点名称。
   kubectl get node $nodeName -o yaml

   预期输出：

   #Node
   status:
     allocatable:
       # 单位为千分之一核，以下表示50核。
       kubernetes.io/batch-cpu: 50000
       # 单位为字节，以下表示50 GB。
       kubernetes.io/batch-memory: 53687091200

2. 创建Pod并申请Batch资源。在Label中指定QoS等级，并在Request和Limit中添加对应的Batch资源配置，即可让Pod使用动态超卖资源，具体示例如下。

   #Pod
   metadata:
     labels:
       # 必填，标记为低优先级Pod。
       koordinator.sh/qosClass: "BE"
   spec:
     containers:
     - resources:
         requests:
           # 单位为千分之一核，如下表示1核。
           kubernetes.io/batch-cpu: "1k"
           # 单位为字节，如下表示1 GB。
           kubernetes.io/batch-memory: "1Gi"
         limits:
           kubernetes.io/batch-cpu: "1k"
           kubernetes.io/batch-memory: "1Gi"

   申请Batch资源需注意：

   • 若您通过Deployment或其它类型工作负载提交Pod，只需在对应的模板字段中参照上述示例，采用相同格式填写即可。同一个Pod不能同时申请Batch资源和普通的CPU或Memory资源。

   • 由于节点的Batch资源总量根据当前实际负载动态计算得到，在边界情况下可能会因Kubelet未及时同步而被拒绝，此时您可以直接将被拒绝的Pod进行删除。

   • 受K8s的约束，扩展资源必须以整数形式表达，因此batch-cpu资源需要以千分之一核为单位进行配置。

3. 管理动态超卖资源。

   节点的Batch容量根据实际的资源利用率情况动态计算得到，CPU和内存维度默认的计算过程可以按如下公式简单推导：

   nodeBatchAllocatable = nodeAllocatable * thresholdPercent - podUsage(non-BE) - systemUsage

   计算公式中各因子的含义如下：

   • nodeAllocatable：节点可分配资源总量。

   • thresholdPercent：预留水位比例。

   • podUsage(non-BE)：高优先级Pod的资源用量，即非BE类型Pod的资源使用量。

   • systemUsage：节点系统资源真实用量。

   同时，对于内存维度的资源超卖，ack-koordinator还支持按请求量（Request）计算，具体配置参考后文有关memoryCalculatePolicy的描述，公式如下。其中podRequest(non-BE)表示高优先级Pod的资源请求量，即非BE类型Pod的资源请求量（Request）之和。

   nodeBatchAllocatable = nodeAllocatable * thresholdPercent - podRequest(non-BE) - systemUsage

   公式中的thresholdPercent为可配置参数，通过修改ConfigMap中的配置项可以实现对资源的灵活管理，配置示例及详细说明如下。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: ack-slo-config
     namespace: kube-system
   data:
     colocation-config: |
       {
         "enable": true,
         "metricAggregateDurationSeconds": 60,
         "cpuReclaimThresholdPercent": 60,
         "memoryReclaimThresholdPercent": 70,
         "memoryCalculatePolicy": "usage"
       }

   字段名称	格式	含义
   enable	Boolean	表示是否开启节点Batch资源的动态更新，关闭时Batch资源量会被重置为0。默认值为 false。
   metricAggregateDurationSeconds	Int	Batch资源最小更新频率，单位为秒。通常建议保持为1分钟不必修改。
   cpuReclaimThresholdPercent	Int	计算节点batch-cpu资源容量时的预留系数。默认值为65，单位为百分比。
   memoryReclaimThresholdPercent	Int	计算节点batch-memory资源容量时的预留系数。默认值为65，单位为百分比。
   memoryCalculatePolicy	String	计算节点batch-memory资源容量时的策略。 "usage"：默认值，表示batch-memory内存资源按照高优先级Pod的内存真实用量计算，包括了节点未申请的资源，以及已申请但未使用的资源量。 "request"：表示batch-memory内存资源按照高优先级Pod的内存请求量计算，仅包括节点未申请的资源。

   说明

   ack-koordinator在单机端提供了针对Batch资源的压制和驱逐能力，包括弹性资源限制、容器内存QoS和容器L3 Cache及内存带宽隔离，能够有效避免低优的BestEffort容器带来的干扰问题。

4. 查看命名空间kube-system下是否存在ConfigMap ack-slo-config。

   • 若存在ConfigMap ack-slo-config，请使用PATCH方式进行更新，避免干扰ConfigMap中其他配置项。

     kubectl patch cm -n kube-system ack-slo-config --patch "$(cat configmap.yaml)"

   • 若不存在ConfigMap ack-slo-config，请执行以下命令进行创建Configmap。

     kubectl apply -f configmap.yaml

5. （可选）通过Prometheus查看Batch资源使用情况。

   如果您首次使用该功能的大盘，请确保动态资源超卖大盘已经升级到最新版本。关于升级的具体操作，请参见相关操作。

   通过ACK控制台Prometheus监控查看Batch资源使用情况的具体操作如下：

   1. 登录容器服务管理控制台，在左侧导航栏选择集群。

   2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择运维管理 > Prometheus 监控。

   3. 在Prometheus监控页面，单击成本分析/资源优化页签，然后单击在离线混部页签。

      您可以在在离线混部页签查看详细数据，包括集群以及单个节点的Batch总量和已申请量。更多信息，请参见基础监控。

   # 节点batch-cpu可分配总量。
   koordlet_node_resource_allocatable{resource="kubernetes.io/batch-cpu",node="$node"}
   # 节点batch-cpu已分配量。
   koordlet_container_resource_requests{resource="kubernetes.io/batch-cpu",node="$node"}
   # 节点batch-memory可分配总量。
   kube_node_status_allocatable{resource="kubernetes.io/batch-memory",node="$node"}
   # 节点batch-memory已分配量。
   koordlet_container_resource_requests{resource="kubernetes.io/batch-memory",node="$node"}

使用样例

1. 使用以下命令，查看节点Reclaimed资源总量。

   查看前请确保对应配置已经开启，详见步骤3中的描述。

   kubectl get node $nodeName -o yaml

   预期输出：

   #Node信息
   status:
     allocatable:
       # 单位为千分之一核，以下表示50核。
       kubernetes.io/batch-cpu: 50000
       # 单位为字节，以下表示50 GB。
       kubernetes.io/batch-memory: 53687091200

2. 使用以下YAML内容，创建名为be-pod-demo.yaml文件。

   apiVersion: v1
   kind: Pod
   metadata:
     lables:
       koordinator.sh/qosClass: "BE"
     name: be-demo
   spec:
     containers:
     - command:
       - "sleep"
       - "100h"
       image: polinux/stress
       imagePullPolicy: Always
       name: be-demo
       resources:
         limits:
           kubernetes.io/batch-cpu: "50k"
           kubernetes.io/batch-memory: "10Gi"
         requests:
           kubernetes.io/batch-cpu: "50k"
           kubernetes.io/batch-memory: "10Gi"
     schedulerName: default-scheduler

3. 使用以下命令，部署be-pod-demo作为目标评测应用。

   kubectl apply -f be-pod-demo.yaml

4. 在单机端的cgroup分组中查看BE Pod资源限制的生效情况。

   1. 使用以下命令，查看CPU资源限制参数。

      cat /sys/fs/cgroup/cpu,cpuacct/kubepods.slice/kubepods-besteffort.slice/kubepods-besteffort-pod4b6e96c8_042d_471c_b6ef_b7e0686a****.slice/cri-containerd-11111c202adfefdd63d7d002ccde8907d08291e706671438c4ccedfecba5****.scope/cpu.cfs_quota_us

      预期输出：

      #容器对应的CPU Cgroup为50核。
      5000000

   2. 使用以下命令，查看Memory资源限制参数。

      cat /sys/fs/cgroup/memory/kubepods.slice/kubepods-besteffort.slice/kubepods-besteffort-pod4b6e96c8_042d_471c_b6ef_b7e0686a****.slice/cri-containerd-11111c202adfefdd63d7d002ccde8907d08291e706671438c4ccedfecba5****.scope/memory.limit_in_bytes

      预期输出：

      #容器对应的Memory Cgroup为10 GB。
      10737418240

常见问题

当前已通过ack-slo-manager的旧版本协议使用了动态资源超卖功能，升级为ack-koordinator后是否继续支持？

旧版本的动态资源超卖协议包括两部分：

• 在Pod的Annotation中填写的alibabacloud.com/qosClass。

• 在Pod的Request和Limit中填写的alibabacloud.com/reclaimed。

ack-koordinator兼容以上旧版本协议，并在ACK Pro调度器中统一计算新旧版本协议的资源申请量和可用量。您可将组件无缝升级至ack-koordinator。

ACK Pro调度器和ack-koordinator对各版本协议的适配如下。

应用使用了Batch资源后，内存资源用量突然变得更高是什么原因？

对于在Pod资源限制Limit中配置了kubernetes.io/batch-memory的应用（简称batch limit），koordinator会等待容器创建后根据batch limit在节点上为其设置cgroup限制参数。由于部分应用在启动时会根据容器cgroup参数自动申请内存，若应用在cgroup的memory.limit参数设置前就启动完成，其内存的真实用量可能会超过batch limit。而受操作系统约束，这时容器的内存cgroup参数将无法设置成功，直至其真实用量降低至batch limit以下才会设置成功。

对于这种情况，我们建议适当修改应用配置参数，控制其内存真实用量在batch limit以下，或在应用启动脚本中首先检查内存限制参数，确认设置完成后再启动，确保应用的内存用量得到合理限制，避免出现OOM等情况。

在容器内执行以下命令，可以查看内存资源限制参数。

# 单位为字节
cat /sys/fs/cgroup/memory/memory.limit_in_bytes 
1048576000