自定义节点池kubelet配置

当默认的kubelet配置无法满足业务需求时，您可以在节点池维度自定义节点的kubelet参数配置，调整节点行为。例如，您可以调整集群资源预留以调配资源用量、自定义节点压力驱逐阈值以缓解集群资源不足、调整拓扑管理器策略以提高系统性能等。

使用限制

仅1.20版本及以上的ACK集群支持自定义kubelet参数。如需升级集群，请参见手动升级集群。
仅1.22版本及以上的ACK灵骏集群支持自定义kubelet参数。如需升级集群，请参见升级集群。

集群版本不满足限制条件时可能会出现非预期现象。

注意事项

自定义kubelet参数按批次变更节点配置。节点池中已有节点将即时生效，新增节点也会使用新配置。生效时，kubelet进程将重启，可能影响节点和工作负载的运行。请在业务低峰期操作。
如果未配置evictionHard、kubeReserved或systemReserved，系统则会使用默认值配置资源预留。默认值的计算方式，请参见节点资源预留策略。
资源预留配置的改变，可能会造成节点的可分配资源变少。对于资源水位较高的节点，可能会触发节点驱逐。
强烈不建议您通过黑屏操作自行定义控制台不支持的kubelet参数。黑屏操作存在很大的稳定性风险，需要您自行保证Userdata文件内容的正确性和兼容性，避免因配置错误或者配置被新版本弃用时导致节点不可用。
kubelet 启动时会遵循特定的优先级来合并不同配置来源。如果同一配置项通过多种方式配置，优先级高的配置会将优先级低的配置覆盖。
展开查看配置合并顺序
以下配置的优先级由低到高进行排序：
1. 命令行中的特性门控（Feature Gates），即通过命令行 --feature-gates 指定的Feature Gates。
2. kubelet 配置文件，即通过 ACK 控制台或 OpenAPI 自定义的参数配置。
3. 插件配置文件（Plugin configurations），即kubelet 配置目录下按字母顺序加载的插件配置文件。
4. 命令行参数，即除Feature Gates外，其他通过命令行直接指定的参数。

通过控制台自定义节点池kubelet参数

自定义kubelet参数生效时会重启kubelet进程，可能会对业务产生一定影响。请在业务低峰期进行操作。

在ACK集群列表页面，单击目标集群名称，在集群详情页左侧导航栏，选择节点管理 > 节点池。
在节点池列表页面，单击目标节点池操作列下的> Kubelet 配置。
仔细阅读当前页面上的注意事项，单击自定义参数选择需要配置的参数，指定待升级的节点，配置批量更新策略，按照页面指引完成操作。

批量更新策略说明如下：
- 每批次的最大并行数：kubelet配置按批次对节点生效。执行需要一定时间，可在事件轮转列表区域查看执行进度，控制执行过程（暂停、继续、取消等）。
- 每批次间隔时间：每个批次之间的间隔时长。
可使用暂停功能对已升级的节点进行验证。执行暂停操作时，正在配置中的节点会继续完成执行；尚未执行的节点在任务继续前不会被执行自定义配置。

建议尽快完成自定义配置任务。处于暂停状态的任务将在7天后自动取消，相关的事件和日志信息也会被清理。

除控制台外，也可以通过ModifyNodePoolNodeConfig接口自定义kubelet参数。下文介绍ACK支持自定义的kubelet参数。

支持自定义的kubelet参数

字段	说明	默认值	建议取值范围
allowedUnsafeSysctls	设置允许使用的非安全的sysctl或sysctl通配符（以`*`结尾的通配符模式）。使用英文半角逗号（,）分隔。重要使用此参数前，请仔细评估相关风险并自行保证可用性。	不涉及	支持下述前缀的 sysctl 配置： kernel.shm kernel.msg kernel.sem fs.mqueue. net.
containerLogMaxFiles	容器的日志文件个数上限，需大于等于2，且容器运行时需为containerd。	10	[2, 10]。
containerLogMaxSize	容器日志文件轮换生成新文件的最大阈值。容器运行时需为containerd。	100Mi	不涉及。
cpuCFSQuota	允许为设置了CPU限制的容器实施CPU CFS配额约束。	true	可选值： true false
cpuCFSQuotaPeriod	设置CPU CFS配额周期值。需确保CustomCPUCFSQuotaPeriod特性门控已被启用	100ms	介于1毫秒和1秒之间，包含1毫秒和1秒。
cpuManagerPolicy	CPU管理器策略。	none	可选值： none static
eventBurst	事件记录的个数的突发峰值上限。	10	[1, 100]，且取值必须大于等于`eventRecordQPS`的值。
eventRecordQPS	每秒可生成的事件数量。	5	[1, 50]。
evictionHard	触发Pod驱逐操作的一组硬性门限。	imagefs.available<15%,memory.available<300Mi,nodefs.available<10%,nodefs.inodesFree<5%	无。
evictionSoft	设置一组驱逐阈值。	无	无。
evictionSoftGracePeriod	设置一组驱逐宽限期。说明需已设置evictionSoft。	无	无。
featureGates	实验性特性的特性开关组。每个开关以`key=value`的形式表示。更多信息，请参见Feature Gates。在配置表单中，通过左侧下拉框选择 key（如 `featureGates`），在右侧文本框中输入对应的 value，并勾选右侧复选框以启用该特性门控。重要使用此参数前，请仔细评估相关风险并自行保证可用性。已移除的特性门控无法生效，请及时更新处理。详细信息，请参见Feature Gates (removed)。	不涉及	不涉及。
imageGCHighThresholdPercent	配置镜像的磁盘用量百分比阈值，一旦镜像用量超过此阈值，镜像垃圾收集会一直运行。配置时，此值需大于imageGCLowThresholdPercent取值。	85	[60, 95]。
imageGCLowThresholdPercent	配置镜像的磁盘用量百分比阈值，镜像用量低于此阈值时不会执行镜像垃圾收集操作。配置时，此值需小于imageGCHighThresholdPercent取值。	80	[30, 90]。
kubeAPIBurst	每秒发送到APIServer的突发请求数量上限。	10	[1, 100]，且取值必须大于等于`kubeAPIQPS`的值
kubeAPIQPS	与APIServer通信的每秒查询个数。	5	[1, 50]。
kubeReserved	Kubernetes系统预留的资源配置。	默认自动计算，详细信息请参见节点资源预留策略。	不涉及。
maxPods	Node能运行的Pod最大数量。重要修改maxPods的值不会影响节点上能分配的IP数量。maxPods取值过大可能导致使用非HostNetwork模式的Pod无法分配到IP地址，从而造成Pod启动失败。	不涉及。取决于机器规格和容器网络规划等物理资源配置。	不涉及。
memoryManagerPolicy	内存管理器需要使用的策略。	None	可选值： None Static 使用此策略时，需已完成以下操作： MemoryManager特性门控已被启用。已手动管理内存资源预留（systemReserved、kubeReserved、evictionHard、reservedMemory）并确保配置正确，即`kube-reserved + system-reserved + eviction-hard = sum(reserved-memory)`，以避免节点不可用。您可以参见以下配置示例：在自定义参数面板中，将 memoryManagerPolicy 设为 Static，并根据公式 `evictionHard.memory.available + systemReserved.memory + kubeReserved.memory = sum(reservedMemory.limits.memory)` 配置以下参数：evictionHard 的 memory.available 设为 `100Mi`，kubeReserved 的 memory 设为 `100Mi`，reservedMemory 的 numaNode 设为 `0`，reservedMemory 的 limits.memory 设为 `300Mi`，systemReserved 的 memory 设为 `100Mi`。更多信息，请参见预留内存标志。
podPidsLimit	每个Pod中可使用的PID个数上限。正整数：设置PID数量上限。 -1：对PID数量不设上限。	16384	无
readOnlyPort	kubelet无鉴权只读端口。	集群版本为1.26及以上时，默认值为0。集群版本为1.26以下时，默认值为10255。	0 关于开放kubelet容器监控只读端口（10255）的风险，请参见【产品变更】迁移低版本ACK集群监控端口至鉴权端口。
registryBurst	突发性镜像拉取的个数上限。	10	[1, 100]，且取值必须大于等于`registryPullQPS`的值。
registryPullQPS	镜像仓库的QPS上限。	5	[1, 50]。
reservedMemory	NUMA节点内存预留列表。	无。	无。
serializeImagePulls	串行拉取镜像。	False	可选值： False：建议值，以支持并行拉取镜像，提高Pod启动速度。 True：支持串行拉取镜像。
systemReserved	系统预留的资源配置。	默认自动计算，详细信息请参见节点资源预留策略。	不涉及。
topologyManagerPolicy	拓扑管理器策略。借助NUMA架构，数据可以被分配到相同的NUMA节点，以减少跨节点访问，提高系统性能。拓扑管理器可以作出与拓扑结构相对应的资源分配决定。更多信息，请参见控制节点上的拓扑管理策略。	none	none（默认）：不执行拓扑管理策略。 restricted：当同一NUMA节点的Pod无法满足资源请求时，kubelet不允许跨Pod实现资源请求。 best-effort：当同一NUMA节点的Pod无法满足资源请求时，kubelet允许跨Pod实现资源请求。 single-numa-node：kubelet仅允许在同一NUMA节点的Pod上分配CPU和设备资源。
containerLogMonitorInterval	集群版本需为1.30及以上。检测容器日志执行轮转操作的间隔时间。	10s	[3s,60s]
containerLogMaxWorkers	集群版本需为1.30及以上。执行日志轮换操作的并发工作程序的最大数量。	1	[1,20]
tracing	为集群控制面或数据面组件启用链路追踪。操作文档，请参见链路追踪管理。	无	endpoint：推荐配置为`localhost:4317` samplingRatePerMillion：[0 , 1000000]
singleProcessOOMKill	控制 cgroup v2 环境下容器的 OOM Kill 行为。设置为 `true` 时，禁止为容器 cgroup 设置 `memory.oom.group` 标志，使容器内进程以单独个体方式触发 OOM Kill（而非以组为单位），行为与 cgroup v1 保持一致。未显式配置时，系统将根据当前环境自动确定默认值： `true`：以单独个体方式触发 OOM Kill。 `false`：以组为单位触发 OOM Kill（cgroup v2 默认行为）。	cgroup v2环境下，默认为`false`	非Linux：仅支持`true` cgroup v1 Linux：仅支持`true`。 cgroup v2 Linux：支持`true`和`false`
configMapAndSecretChangeDetectionStrategy	ConfigMap 和 Secret 管理器的运行模式。	`Watch`	`Get`：kubelet 直接从 API Server 获取所需对象。 `Cache`：kubelet 使用 TTL 缓存从 API Server 获取的对象。 `Watch`：kubelet 使用 Watch 机制监听其关注的对象变化。
serverTLSBootstrap	仅支持ACK托管集群Pro版需确保 `RotateKubeletServerCertificate` 特性门控已启用。启用 kubelet 服务端证书自举功能。开启后，kubelet 将不再使用自签名证书，转而通过 `certificates.k8s.io` API 向集群申请服务端证书，集群将自动审批证书签名请求（CSR）。	集群为 1.34及以上：`true` 集群为 1.33及以下：`false`	可选值： `true` `false`

FAQ

自定义配置会被弃用吗？

随着Kubernetes版本的演进，可能会有部分参数或FeatureGate被标记弃用或者从代码移除。如果受ACK管理的自定义参数在新的版本不再适用时，相关配置会在集群升级期间被移除弃用。

如何启用配置文件的方式管理kubelet？

容器服务 Kubernetes 版会根据社区的最佳实践调整kubelet配置的管理方式。在1.20版本之后，逐步将已经被标记弃用的kubelet启动命令（Command-Line Flags）改为配置文件。更多信息，请参见Kubelet Configuration (v1beta1)。

新增节点（新创建的节点和新添加的节点）会同时保留配置文件和原有的配置方式；存量节点不受影响。如需将节点统一为配置文件管理的方式，您可以参见支持自定义的kubelet参数触发自定义配置，以统一节点池内全量节点的配置。

想要修改的 kubelet 参数不在支持列表，应该如何修改？

ACK允许将自定义参数写入至/etc/kubernetes/kubelet-customized-args.conf，该文件用于存储 kubelet 的自定义启动参数和配置选项。写入到该配置文件的 kubelet 参数会在节点重启时优先生效，覆盖通过节点池自定义 kubelet 配置功能写入的参数值。

重要

调整 kubelet 参数可能导致节点注册失败、Pod无法调度等，影响业务正常运行。请在操作前充分评估变更风险。

（推荐）对于节点池未来扩容的节点，可将对自定义参数配置文件的写入脚本配置到节点池实例自定义数据中，以确保新增节点可默认使用这些自定义参数值。

在节点池配置中的实例自定义数据中的配置以下内容。其中，${kubelet_key}和${kubelet_value}需替换为实际值。

仅支持在实例自定义数据中使用> /etc/kubernetes/kubelet-customized-args.conf 或> kubelet-customized-args.conf的方式写入。若在实例预自定义数据中通过其他方式操作kubelet-customized-args.conf，均会导致/etc/kubernetes/kubelet-customized-args.conf文件在ACK初始化过程中被覆盖。
```
mkdir -p /etc/kubernetes  
echo 'KUBELET_CUSTOMIZED_ARGS="--${kubelet_key}=${kubelet_value}"' > /etc/kubernetes/kubelet-customized-args.conf
systemctl daemon-reload
systemctl restart kubelet
```
操作入口，请参见创建和管理节点池。
对于节点池中的存量节点，可登录节点修改该自定义参数配置文件，同时手动执行以下命令使配置生效。
```
systemctl daemon-reload
systemctl restart kubelet
```

自定义节点池的kubelet参数配置