可观测监控 Prometheus 版支持Agent副本数水平伸缩(HPA)自动扩容的能力。由于配置的Agent副本数量不足,导致Agent不断产生内存溢出发生重启。因此可观测监控 Prometheus 版新增Agent副本数的HPA自动扩容功能,可以自动调整Agent副本数。

使用限制

您的Prometheus Helm版本已升级至v1.0.0或以上,即可具有Agent水平伸缩(HPA)自动扩容能力。升级Helm版本的具体操作,请参见升级组件版本。Helm及Agent镜像版本的详细说明,请参见Helm版本说明

Agent副本数会自动扩容的情况

  • 当Agent单副本运行时:其Master副本既需要执行Targets服务发现又需要执行Targets抓取,如果因为Metrics量级过多导致Agent因为OOM而终止进程时,Agent副本数会一次性自动扩容为3个。
  • 当Agent多副本运行时:其Master副本仅需执行Targets服务发现,由Worker副本执行Targets抓取。当Worker副本内存使用超过60%时,会进行Targets抓取任务再分配,同时计算出所需的Worker副本数,实现自动扩容。
说明 根据多因子协同调度算法,每个Agent每轮可以抓取的总Target数量与总Metrics数量的乘积上限为40亿,内存使用上限为70%。简便地,每个Agent可以抓取的Metrics数量级上限为4,000,000。