阿里云Prometheus监控 - 容器服务 ACK

您可以通过阿里云Prometheus监控查看ACK预先配置的监控大盘和监控性能指标。本文为您介绍如何在ACK中接入阿里云Prometheus监控，如何配置Prometheus监控报警及如何自定义Prometheus监控指标并通过Grafana展示。

索引

背景信息
开启阿里云Prometheus监控
查看阿里云Prometheus Grafana大盘
配置Prometheus监控报警
自定义Prometheus监控指标并通过Grafana展示
常见问题

背景信息

阿里云Prometheus监控全面对接开源Prometheus生态，支持类型丰富的组件监控，提供多种开箱即用的预置监控大盘，且提供全面托管的Prometheus服务。借助阿里云Prometheus监控，您无需自行搭建Prometheus监控系统，因而无需关心底层数据存储、数据展示、系统运维等问题。

有关阿里云Prometheus监控的更多信息，请参见什么是Prometheus监控。

开启阿里云Prometheus监控

方式一：创建集群时开启

在创建集群的组件配置页面，选中使用Prometheus监控服务。具体操作，请参见创建Kubernetes托管版集群。

说明

在创建集群时，系统默认选中使用Prometheus监控服务。
集群创建完成，系统将自动配置阿里云Prometheus监控服务。

方式二：在已有集群中开启

登录容器服务管理控制台，在左侧导航栏选择集群。
在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择运维管理 > Prometheus监控。
在Prometheus监控页面，单击开始安装。
控制台会自动安装组件、检查监控大盘。安装完成后，单击各个页签查看相应监控数据。

查看阿里云Prometheus Grafana大盘

在Promethues监控页面，单击需要查看的Grafana监控大盘名，即可查看相应的监控数据。

配置Prometheus监控报警

为监控任务创建报警可在满足报警条件时通过邮件、短信、钉钉等渠道实时报警，主动帮助您发现异常。报警规则被触发时会向您指定的联系人分组发送通知，而在创建联系人分组之前必须先创建联系人。创建联系人时，您可以指定联系人用于接收通知的手机号码和邮箱地址，也可以提供用于自动发送报警通知的钉钉机器人地址。

说明

如需将钉钉机器人添加为联系人，则需要先获取钉钉机器人的地址。具体操作，请参见设置钉钉机器人报警。

登录ARMS控制台。
在控制台左侧导航栏，选择告警管理 > 联系人。
在联系人页签，单击右上角的新建联系人。配置联系人信息，然后单击确认。
配置报警规则。
1. 登录ARMS控制台。
2. 在控制台左侧导航栏选择Prometheus监控 > Prometheus实例列表。
3. 在Prometheus监控页面左上角选择容器服务K8s集群所在的地域，然后单击目标实例名称进入对应实例页面。
4. 在左侧导航栏单击报警配置。
5. 在报警规则说明列表，单击对应报警操作列的编辑，输入PromQL语句配置报警规则，配置完成后单击确定，可直接开启预置的报警规则。
  关于PromQL语句的配置，请参见快速创建ARMS报警（旧版）。
说明
报警规则也可在ARMS控制台的报警管理 > 报警策略管理进行管理。
验证结果
进行手动测试，触发钉钉告警。正常触发告警如下：

自定义Prometheus监控指标并通过Grafana展示

方式一：通过Annotations自定义指标监控

通过给Deployment Pod Template加入Annotations的方式自定义监控，阿里云ARMS应用监控组件将会使阿里云Prometheus监控自动获取Pod自定义指标。

登录容器服务管理控制台，在左侧导航栏选择集群。
在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择工作负载 > 无状态。
在无状态页面中，创建应用。
1. 单击使用镜像创建。
2. 在配置向导应用基本信息中填写应用的基本信息，单击下一步。
3. 创建一个Web应用，暴露5000端口。
  以镜像yejianhonghong/pindex为示例。
4. 单击下一步。
5. 给Pod添加Annotations。
  prometheus.io/port表示Prometheus要scrape的endpoint端口，prometheus.io/path表示Prometheus要scrape的endpoint路径。
6. 单击创建，完成应用创建。
在服务页面创建服务。
1. 在集群管理页左侧导航栏，选择网络 > 服务。
2. 单击服务页面右上角的创建。
3. 在类型中选择负载均衡型服务及公网访问。
4. 在关联中选择所创建的应用。
5. 单击创建，完成服务创建。
具体操作，请参见创建服务。
配置自定义指标。
1. 登录ARMS控制台。
2. 在左侧导航栏选择Prometheus监控 > Prometheus实例列表。
3. 在Prometheus监控页面左上角选择容器服务K8s集群所在的地域，然后单击目标实例名称进入对应实例页面。
4. 在左侧导航栏单击服务发现，然后单击Targets页签，可以看到自定义的指标已经配置成功。
访问所创建服务暴露出来的公网IP，增加指标值。
具体指标的配置，请参见DATA MODEL。
单击Prometheus任意一个预置的图表进入Grafana，然后单击添加Panal ，选择Graph类型，将Metrics填写为current_person_counts。
保存配置即可观察到自定义指标的Grafana图形。

方式二：通过ServiceMonitor自定义指标监控

通过ServiceMonitor方式自定义指标监控在部署的时候不需要配置Annotations，但是要给Service对象添加标签。

登录容器服务管理控制台，在左侧导航栏选择集群。
在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择工作负载 > 无状态。
在无状态页面中，创建应用。
1. 单击使用镜像创建。
2. 在配置向导应用基本信息中填写应用的基本信息，单击下一步。
3. 创建一个Web应用，暴露5000端口。
  以镜像yejianhonghong/pindex为示例。
4. 单击创建，完成应用创建。
在服务页面创建服务。
1. 在集群管理页左侧导航栏，选择网络 > 服务。
2. 单击服务页面右上角的创建。
3. 在类型中选择负载均衡型服务及公网访问。
4. 在关联中选择所创建的应用。
5. 添加标签。
  该标签将被用于ServiceMonitor的selector。
6. 单击创建，完成服务创建。
具体操作，请参见创建服务。
使Prometheus获得服务Scape Endpioint。
1. 登录ARMS控制台。
2. 在左侧导航栏选择Prometheus监控 > Prometheus实例列表。
3. 在Prometheus监控页面左上角选择容器服务K8s集群所在的地域，然后单击目标实例名称进入对应实例页面。
4. 在左侧导航栏单击服务发现，然后单击配置页签。
5. 在配置页签下单击ServiceMonitor。
6. 在ServiceMonitor页签下单击添加ServiceMonitor创建ServiceMonitor。
  模板文件如下所示。
```
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  #填写一个唯一名称。
  name: custom-metrics-pindex
  #填写目标命名空间。
  namespace: default
spec:
  endpoints:
  - interval: 30s
    #填写service.yaml中对应的Port的Name字段的值（参考上图）。
    port: web
    #填写Service对应的Path的值。
    path: /access
  namespaceSelector:
    any: true
    #Nginx Demo的命名空间。
  selector:
    matchLabels:
      #填写service.yaml的Label字段的值以定位目标service.yaml。
      app: custom-metrics-pindex
```
  单击确定完成ServiceMonitor创建。
7. 在Targets页签，可见Prometheus已经获得服务Scape Endpioint。
  说明
  这里ServiceMonitor定义比Annotations方式更直观，指出了Namespace和Service名称。
访问所创建的服务暴露出来的公网IP，增加指标值。
关于指标的配置，请参见DATA MODEL。
单击Prometheus任意一个预置的图表进入Grafana，然后单击添加Panal，选择Graph类型，将Metrics填写为current_person_counts。
保存配置即可观察到自定义指标的Grafana图形。

常见问题

如何查看ack-arms-prometheus组件版本？

登录容器服务管理控制台，在左侧导航栏选择集群。
在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择运维管理 > 组件管理。
在组件管理页面，单击日志与监控页签，找到ack-arms-prometheus组件。
在组件下方显示当前版本信息，如有新版本需要升级，可单击版本右侧升级完成组件升级。
说明
当已安装的组件版本不是最新版本时，才会显示升级操作。

为什么GPU监控无法部署？

如果您的GPU节点上存在污点，可能导致GPU监控无法部署。您可以通过以下步骤查看GPU节点的污点情况。

执行以下命令，查看目标GPU节点的污点情况。
如果您的GPU节点拥有自定义的污点，可找到污点相关的条目。本文以key为test-key、value为test-value、effect为NoSchedule为例说明：
```
kubectl describe node cn-beijing.47.100.***.***
```
预期输出：
```
Taints:test-key=test-value:NoSchedule
```

通过以下两种方式处理GPU节点的污点。

执行以下命令，删除GPU节点的污点。

kubectl taint node cn-beijing.47.100.***.*** test-key=test-value:NoSchedule-

对GPU节点的污点进行容忍度声明，允许Pod调度到该污点的节点上。

# 1.执行以下命令，编辑ack-prometheus-gpu-exporter。
kubectl edit daemonset -n arms-prom ack-prometheus-gpu-exporter

# 2. 在YAML中添加如下字段，声明对污点的容忍度。
#省略其他字段。
#tolerations字段添加在containers字段上面，且与containers字段同级。
tolerations:
- key: "test-key"
  operator: "Equal"
  value: "test-value"
  effect: "NoSchedule"
containers:
 #省略其他字段。

手动删除资源或将导致重新安装阿里云Prometheus失败，如何完整地手动删除ARMS-Prometheus？

只删除阿里云Prometheus的命名空间，会导致资源删除后有残留配置，影响再次安装。您可以执行以下操作，完整地手动删除ARMS-Prometheus残余配置。

删除arms-prom命名空间。
```
kubectl delete namespace arms-prom
```

删除ClusterRole。

kubectl delete ClusterRole arms-kube-state-metrics
kubectl delete ClusterRole arms-node-exporter
kubectl delete ClusterRole arms-prom-ack-arms-prometheus-role
kubectl delete ClusterRole arms-prometheus-oper3
kubectl delete ClusterRole arms-prometheus-ack-arms-prometheus-role
kubectl delete ClusterRole arms-pilot-prom-k8s
kubectl delete ClusterRole gpu-prometheus-exporter

删除ClusterRoleBinding。

kubectl delete ClusterRoleBinding arms-node-exporter
kubectl delete ClusterRoleBinding arms-prom-ack-arms-prometheus-role-binding
kubectl delete ClusterRoleBinding arms-prometheus-oper-bind2
kubectl delete ClusterRoleBinding arms-kube-state-metrics
kubectl delete ClusterRoleBinding arms-pilot-prom-k8s
kubectl delete ClusterRoleBinding arms-prometheus-ack-arms-prometheus-role-binding
kubectl delete ClusterRoleBinding gpu-prometheus-exporter

删除Role及RoleBinding。

kubectl delete Role arms-pilot-prom-spec-ns-k8s
kubectl delete Role arms-pilot-prom-spec-ns-k8s -n kube-system
kubectl delete RoleBinding arms-pilot-prom-spec-ns-k8s
kubectl delete RoleBinding arms-pilot-prom-spec-ns-k8s -n kube-system

手动删除ARMS-Prometheus资源后，请在容器服务管理控制台的运维管理>组件管理中，重新安装ack-arms-prometheus组件。