通过在应用中埋点来暴露JVM数据,使用阿里云Prometheus监控采集JVM数据,借助Prometheus Grafana大盘来展示JVM数据,并创建报警,即可实现利用Prometheus监控JVM的目的。本文以阿里云容器服务K8s集群和阿里云容器镜像服务为例,介绍如何通过Prometheus监控JVM。

前提条件

Demo

如需快速体验如何通过Prometheus监控JVM,您可以使用已埋点的Demo工程

操作流程

通过阿里云Prometheus监控JVM的操作流程如下图所示。

flow

步骤一:为应用埋点

为应用埋点以暴露JVM数据的操作步骤如下:

  1. pom.xml文件中添加Maven依赖。
    <dependency>
        <groupId>io.prometheus</groupId>
        <artifactId>simpleclient_hotspot</artifactId>
        <version>0.6.0</version>
    </dependency>
  2. 在应用代码中添加初始化JVM Exporter的方法。
    @PostConstruct
        public void initJvmExporter() {
            io.prometheus.client.hotspot.DefaultExports.initialize();
        }

    您可以参考Demo工程的/src/main/java/com/monitise/prometheus_demo/DemoController.java文件。

  3. application.properties文件中配置用于Prometheus监控的端口和路径。
    management.port: 8081
    endpoints.prometheus.path: prometheus-metrics

    您可以参考Demo工程的/src/main/resources/application.properties文件。

  4. 在应用代码中添加打开HTTP端口的方法。
    @SpringBootApplication
    // sets up the prometheus endpoint /prometheus-metrics
    @EnablePrometheusEndpoint
    // exports the data at /metrics at a prometheus endpoint
    @EnableSpringBootMetricsCollector
    public class PrometheusDemoApplication {
        public static void main(String[] args) {
            SpringApplication.run(PrometheusDemoApplication.class, args);
        }
    }

    您可以参考Demo工程的/src/main/java/com/monitise/prometheus_demo/PrometheusDemoApplication.java文件。

步骤二:上传应用

将完成埋点的应用制作成镜像并上传至阿里云容器镜像服务的镜像仓库的操作步骤如下:

  1. 执行以下命令重新编译模块。
    mvn clean install -DskipTests
  2. 执行以下命令构建镜像。
    docker build -t <本地临时Docker镜像名称>:<本地临时Docker镜像版本号> . --no-cache
    示例命令:
    docker build -t promethues-demo:v0 . --no-cache
  3. 执行以下命令为镜像打标。
    sudo docker tag <本地临时Docker镜像名称>:<本地临时Docker镜像版本号> <Registry域名>/<命名空间>/<镜像名称>:<镜像版本号>
    示例命令:
    sudo docker tag promethues-demo:v0 registry.cn-hangzhou.aliyuncs.com/testnamespace/promethues-demo:v0
  4. 执行以下命令将镜像推送至镜像仓库。
    sudo docker push <Registry域名>/<命名空间>/<镜像名称>:<镜像版本号>
    示例命令:
    sudo docker push registry.cn-hangzhou.aliyuncs.com/testnamespace/promethues-demo:v0
    容器镜像服务控制台镜像版本页面显示上传的应用镜像。镜像

步骤三:部署应用

将应用部署至容器服务K8s集群的操作步骤如下:

  1. 登录容器服务管理控制台
  2. 在左侧导航栏,选择集群
  3. 集群列表页面,找到目标集群,在其右侧操作列单击应用管理
  4. 创建容器组。
    1. 在左侧导航栏,选择工作负载 > 无状态
    2. 无状态页面,单击使用模板创建
    3. 创建页面的模板代码框输入以下内容,然后单击创建
      apiVersion: apps/v1 # for versions before 1.8.0 use apps/v1beta1
      kind: Deployment
      metadata:
        name: prometheus-demo
      spec:
        replicas: 2
        template:
          metadata:
            annotations:
              prometheus.io/scrape: 'true'
              prometheus.io/path: '/prometheus-metrics'
              prometheus.io/port: '8081'
            labels:
              app: tomcat
          spec:
            containers:
            - name: tomcat
              imagePullPolicy: Always
              image: <Registry域名>/<命名空间>/<镜像名称>:<镜像版本号>
              ports:
              - containerPort: 8080
                name: tomcat-normal
              - containerPort: 8081
                name: tomcat-monitor
      示例代码:
      apiVersion: apps/v1 # for versions before 1.8.0 use apps/v1beta1
      kind: Deployment
      metadata:
        name: prometheus-demo
        labels:
          app: tomcat
      spec:
        replicas: 2
        selector:
          matchLabels:
            app: tomcat
        template:
          metadata:
            annotations:
              prometheus.io/scrape: 'true'
              prometheus.io/path: '/prometheus-metrics'
              prometheus.io/port: '8081'
            labels:
              app: tomcat
          spec:
            containers:
            - name: tomcat
              imagePullPolicy: Always
              image: registry.cn-hangzhou.aliyuncs.com/peiyu-test/prometheus-demo:v0
              ports:
              - containerPort: 8080
                name: tomcat-normal
              - containerPort: 8081
                name: tomcat-monitor
    无状态页面显示创建的容器组。容器组
  5. 创建服务。
    1. 在左侧导航栏,选择服务与路由 > 服务
    2. 服务页面,单击使用YAML创建资源
    3. 创建页面的模板代码框输入以下内容,然后单击创建
      apiVersion: v1
      kind: Service
      metadata:
        labels:
          app: tomcat
        name: tomcat
        namespace: default
      spec:
        ports:
        - name: tomcat-normal
          port: 8080
          protocol: TCP
          targetPort: 8080
        - name: tomcat-monitor
          port: 8081
          protocol: TCP
          targetPort: 8081
        type: NodePort
        selector:
          app: tomcat
    服务页面显示创建的服务。服务

步骤四:配置服务发现

配置阿里云Prometheus监控的服务发现以采集JVM数据的操作步骤如下:

  1. 登录ARMS控制台
  2. 左侧导航栏,单击Prometheus监控
  3. Prometheus监控页面的顶部菜单栏,选择K8s集群所在的地域,并在目标集群右侧的操作列单击设置
  4. 在设置页面,单击服务发现页签,在服务发现页签下,单击ServiceMonitor页签。
  5. ServiceMonitor页签下,单击添加ServiceMonitor
  6. 添加ServiceMonitor对话框中输入以下内容,然后单击确定
    apiVersion: monitoring.coreos.com/v1
    kind: ServiceMonitor
    metadata:
      #  填写一个唯一名称
      name: tomcat-demo
      #  填写目标命名空间
      namespace: default
    spec:
      endpoints:
      - interval: 30s
        #  填写service.yaml中Prometheus Exporter对应的Port的Name字段的值
        port: tomcat-monitor
        #  填写Prometheus Exporter对应的Path的值
        path: /metrics
      namespaceSelector:
        any: true
        #  Demo的命名空间
      selector:
        matchLabels:
          #  填写service.yaml的Label字段的值以定位目标service.yaml
          app: tomcat
    ServiceMonitor页签下显示配置的服务发现。服务发现

步骤四:配置大盘

配置Grafana大盘以展示数据的操作步骤如下:

  1. 打开Grafana大盘概览页
  2. 在左侧导航栏,选择+ > Import
  3. Import页面的Import via grafana.com文本框,输入阿里云Prometheus监控提供的JVM大盘模板的ID10877,然后在其右侧,单击Load
    说明 如需获取其他JVM大盘模板,请参见Dashboards
    Import Grafana Dashboard
  4. Import页面,执行以下操作:
    1. Folder下拉列表,选择您的阿里云容器服务K8s集群。
    2. arms-demo-fuling-zhuanyouban-emptyTest_1084900439941126下拉列表,选择您的阿里云容器服务K8s集群。
    3. 单击Import
    Import Grafana Dashboard with Options
    完成配置后的Grafana大盘如下图所示。ARMS Prometheus Grafana Dashboard for JVM

步骤六:创建报警

为监控指标创建报警的操作步骤如下:

  1. 登录ARMS控制台
  2. 在左侧导航栏,选择Prometheus监控
  3. Prometheus监控页面的顶部菜单栏,选择K8s集群所在的地域,单击目标K8s集群的名称。
  4. 在左侧导航栏,选择报警配置
  5. 在报警配置页面右上角,单击创建报警
  6. 创建报警面板,执行以下操作:
    1. 可选:告警模板下拉列表,选择模板。
    2. 规则名称文本框,输入规则名称,例如:网络接收压力报警。
    3. 告警表达式文本框,输入告警表达式需。例如:(sum(rate(kube_state_metrics_list_total{job="kube-state-metrics",result="error"}[5m])) / sum(rate(kube_state_metrics_list_total{job="kube-state-metrics"}[5m]))) > 0.01
      注意 PromQL语句中包含的$符号会导致报错,您需要删除包含$符号的语句中=左右两边的参数及=。例如:将sum (rate (container_network_receive_bytes_total{instance=~"^$HostIp.*"}[1m]))修改为sum (rate (container_network_receive_bytes_total[1m]))
    4. 持续时间文本框,输入时间,例如:1分钟。
    5. 告警消息文本框,输入告警消息。
    6. 可选:高级配置标签区域,单击创建标签可以设置报警标签,设置的标签可用作分派规则的选项。
    7. 可选:高级配置注释区域,单击创建注释,设置message,设置 {{变量名}}告警信息。设置完成后的格式为:message:{{变量名}}告警信息,例如:message:{{$labels.pod_name}}重启

      您可以自定义变量名,也可以选择已有的标签作为变量名。已有的标签包括:

      • 报警规则表达式指标中携带的标签。
      • 通过报警规则创建的标签,请参见创建报警
      • ARMS系统自带的默认标签,默认标签说明如下。
        标签 说明
        alertname 告警名称,格式为:告警名称_集群名称。
        _aliyun_arms_alert_level 告警等级。
        _aliyun_arms_alert_type 告警类型。
        _aliyun_arms_alert_rule_id 告警规则对应的ID。
        _aliyun_arms_region_id 地域ID。
        _aliyun_arms_userid 用户ID。
        _aliyun_arms_involvedObject_type 关联对象子类型,如ManagedKubernetes,ServerlessKubernetes。
        _aliyun_arms_involvedObject_kind 关联对象分类,如app,cluster。
        _aliyun_arms_involvedObject_id 关联对象ID。
        _aliyun_arms_involvedObject_name 关联对象名称。
    8. 通知策略下拉列表,选择通知策略。
      如何创建通知策略,请参见设置报警通知策略
    9. 单击确定
    报警配置页面显示创建的报警。