为ACS Agent Sandbox开启Prometheus监控 - 容器计算服务 ACS

ACS Agent Sandbox 通过 Sandbox Controller 和 Sandbox Manager 两个核心组件暴露 Prometheus 指标，覆盖实例生命周期、资源状态及各类运行时等维度。可通过阿里云Prometheus监控或自建Prometheus两种方案采集这些指标，并通过 Grafana 大盘进行可视化监控。

适用范围

在集群组件管理页面，确认以下组件版本：
- ack-agent-sandbox-controller：版本>=v0.5.14。
- ack-sandbox-manager：版本>=v0.6.1。

为Agent Sandbox开启Prometheus监控

阿里云Prometheus

进入ARMS Prometheus控制台接入管理页面，在页面左上角选择集群所在地域。在已接入环境页签搜索定位目标集群，单击实例名称进入实例详情页。
在实例详情页，单击组件类型右侧的新增接入。在右侧弹窗中搜索并单击Agent Sandbox 监控，保持默认接入名称，单击确定。

自建Prometheus

配置采集规则

ACS Agent Sandbox监控涉及两个组件的指标采集：

Sandbox Controller：由集群托管，通过Kubernetes API Server的/metrics端点暴露指标。
Sandbox Manager：部署在sandbox-system命名空间，通过HTTP端口8080的/metrics路径暴露指标。

开源Prometheus

在prometheus.yml的scrape_configs中添加以下采集任务。

Sandbox Controller

scrape_configs:
- job_name: agent-sandbox-controller
  scrape_interval: 30s
  scrape_timeout: 30s
  metrics_path: /metrics
  scheme: https
  honor_labels: true
  honor_timestamps: true
  params:
    hosting: ["true"]
    job: ["agent-sandbox-controller"]
  kubernetes_sd_configs:
  - role: endpoints
    namespaces:
      names: [default]
  authorization:
    credentials_file: /var/run/secrets/kubernetes.io/serviceaccount/token
  tls_config:
    insecure_skip_verify: false
    ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
    server_name: kubernetes
  relabel_configs:
  - source_labels: [__meta_kubernetes_service_label_component]
    separator: ;
    regex: apiserver
    replacement: $1
    action: keep
  - source_labels: [__meta_kubernetes_service_label_provider]
    separator: ;
    regex: kubernetes
    replacement: $1
    action: keep
  - source_labels: [__meta_kubernetes_endpoint_port_name]
    separator: ;
    regex: https
    replacement: $1
    action: keep
  - source_labels: [__meta_kubernetes_namespace]
    separator: ;
    regex: (.*)
    target_label: namespace
    replacement: $1
    action: replace
  - source_labels: [__meta_kubernetes_endpoint_address_target_kind, __meta_kubernetes_endpoint_address_target_name]
    separator: ;
    regex: Node;(.*)
    target_label: node
    replacement: ${1}
    action: replace
  - source_labels: [__meta_kubernetes_endpoint_address_target_kind, __meta_kubernetes_endpoint_address_target_name]
    separator: ;
    regex: Pod;(.*)
    target_label: pod
    replacement: ${1}
    action: replace
  - source_labels: [__meta_kubernetes_service_name]
    separator: ;
    regex: (.*)
    target_label: service
    replacement: $1
    action: replace
  - source_labels: [__meta_kubernetes_service_name]
    separator: ;
    regex: (.*)
    target_label: job
    replacement: ${1}
    action: replace
  - source_labels: [__meta_kubernetes_service_label_component]
    separator: ;
    regex: (.+)
    target_label: job
    replacement: ${1}
    action: replace
  - separator: ;
    regex: (.*)
    target_label: endpoint
    replacement: https
    action: replace

Sandbox Manager

scrape_configs:
- job_name: sandbox-manager
  scrape_interval: 30s
  scrape_timeout: 30s
  metrics_path: /metrics
  scheme: http
  honor_labels: true
  honor_timestamps: true
  kubernetes_sd_configs:
  - role: endpoints
    namespaces:
      names:
      - sandbox-system
  relabel_configs:
  - source_labels:
    - __meta_kubernetes_endpoint_port_name
    separator: ;
    regex: manager
    replacement: $1
    action: keep

Prometheus Operator

社区版 Prometheus Operator 使用ServiceMonitor自定义资源配置采集规则。

Sandbox Controller

将以下内容保存为sandbox-controller-servicemonitor.yaml。

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  labels:
    release: ack-prometheus-operator # 请根据 prometheus operator的labelselector配置按需更改
  name: sandbox-controller
  namespace: monitoring
spec:
  endpoints:
    - bearerTokenFile: /var/run/secrets/kubernetes.io/serviceaccount/token
      bearerTokenSecret:
        key: ''
      honorLabels: true
      honorTimestamps: true
      interval: 30s
      params:
        hosting:
          - 'true'
        job:
          - agent-sandbox-controller
      path: /metrics
      port: https
      relabelings:
        - action: keep
          regex: https
          sourceLabels:
            - __meta_kubernetes_endpoint_port_name
        - action: replace
          sourceLabels:
            - __meta_kubernetes_namespace
          targetLabel: namespace
        - action: replace
          regex: Node;(.*)
          replacement: '${1}'
          separator: ;
          sourceLabels:
            - __meta_kubernetes_endpoint_address_target_kind
            - __meta_kubernetes_endpoint_address_target_name
          targetLabel: node
        - action: replace
          regex: Pod;(.*)
          replacement: '${1}'
          separator: ;
          sourceLabels:
            - __meta_kubernetes_endpoint_address_target_kind
            - __meta_kubernetes_endpoint_address_target_name
          targetLabel: pod
        - action: replace
          sourceLabels:
            - __meta_kubernetes_service_name
          targetLabel: service
        - action: replace
          regex: ^$
          sourceLabels:
            - __meta_kubernetes_service_label_component
          targetLabel: __tmp_job_fallback
        - action: replace
          regex: (.+);
          replacement: '${1}'
          separator: ;
          sourceLabels:
            - __meta_kubernetes_service_name
            - __meta_kubernetes_service_label_component
          targetLabel: job
        - action: replace
          replacement: https
          targetLabel: endpoint
      scheme: https
      scrapeTimeout: 30s
      tlsConfig:
        ca: {}
        caFile: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
        cert: {}
        serverName: kubernetes
  jobLabel: component
  namespaceSelector:
    matchNames:
      - default
  selector:
    matchLabels:
      component: apiserver
      provider: kubernetes

创建ServiceMonitor资源。

kubectl apply -f sandbox-controller-servicemonitor.yaml

Sandbox Manager

将以下ServiceMonitor内容保存为YAML文件并执行kubectl apply -f创建资源。

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  labels:
    release: ack-prometheus-operator # 必须与 Prometheus Operator 的 serviceMonitorSelector 匹配，否则不会被发现采集；请根据实际 labelselector 按需更改
    app.kubernetes.io/instance: ack-sandbox-manager
    app.kubernetes.io/name: ack-sandbox-manager
    component: sandbox-manager
  name: sandbox-manager
  namespace: sandbox-system
spec:
  endpoints:
  - interval: 30s
    path: /metrics
    port: manager
  namespaceSelector:
    matchNames:
    - sandbox-system
  selector:
    matchLabels:
      app.kubernetes.io/instance: ack-sandbox-manager
      app.kubernetes.io/name: ack-sandbox-manager
      component: sandbox-manager

查看监控大盘

阿里云Prometheus

登录容器计算服务控制台，在左侧导航栏选择运维管理 > Prometheus 监控，在其他页签中可查看以下Sandbox监控大盘。

Sandbox Instance：查看具体Sandbox实例的状态、生命周期和资源使用情况。
Sandbox Controller：查看整体Sandbox资源生命周期的云端管控情况，包括实例资源统计和生命周期管控性能。
Sandbox Manager：查看Sandbox资源声明的执行情况，如E2B协议的执行性能。

自建Prometheus

如使用自建Prometheus方案，可导入以下Grafana大盘JSON模板并配置对应数据源。

大盘名称	版本	说明	获取方式
Sandbox Instance	v1.0.1	Sandbox实例的Meta信息、当前状态和资源使用情况监控。	Sandbox Instance-v1.0.1.json
Sandbox Controller	v1.0.1	整体Sandbox资源生命周期的云端管控情况，包括实例资源统计和生命周期管控性能。	Sandbox Controller-v1.0.1.json
Sandbox Manager	v1.0.1	Sandbox资源声明的执行情况，如E2B协议的执行性能。	Sandbox Manager-v1.0.1.json

计费说明

开启监控后，Sandbox Controller和Sandbox Manager的指标会自动上报至阿里云Prometheus服务，并被视为自定义指标，从而产生额外费用。
费用随集群规模、应用数量等因素变化。开启前，建议参见计费概述了解自定义指标的收费策略；开启后，可通过用量查询监控和管理资源使用情况。

指标说明

以下列出Sandbox Controller和Sandbox Manager两个组件暴露的Prometheus指标，供配置告警规则或自定义大盘时参考。

Sandbox Controller指标

Sandbox Controller负责Sandbox实例和SandboxSet资源的生命周期管控，以下指标来自Controller的/metrics端点。

Sandbox实例指标

用于观测集群中各个Sandbox实例的基本信息、生命周期状态和就绪情况。

说明

状态类指标（如sandbox_status_unpaused、sandbox_status_unpaused_time、sandbox_status_inplace_updating等）仅在实例进入对应状态后才会产生时间序列。若集群中没有实例处于该状态（例如从未执行过休眠操作），查询对应指标的结果为空，属正常现象，并非采集失败。

指标名称	类型	说明	标签
`sandbox_created`	Gauge	Sandbox实例的Unix创建时间戳	`name`, `namespace`
`sandbox_status_phase`	Gauge	Sandbox实例当前所处阶段（当前阶段值为1）。`phase`可选值：Pending、Running、Paused、Resuming、Failed、Succeeded、Terminating	`name`, `namespace`, `phase`
`sandbox_status_ready`	Gauge	Sandbox实例是否处于Ready状态（1为true，0为false）	`name`, `namespace`
`sandbox_status_ready_time`	Gauge	Sandbox实例最后一次转变为Ready状态的Unix时间戳	`name`, `namespace`
`sandbox_status_inplace_updating`	Gauge	Sandbox实例InplaceUpdate条件是否为False（1为False，0为其他）	`name`, `namespace`
`sandbox_status_unpaused`	Gauge	Sandbox实例SandboxPaused条件是否为False（1为False，0为其他）	`name`, `namespace`
`sandbox_status_unpaused_time`	Gauge	Sandbox实例SandboxPaused条件转变为False的Unix时间戳	`name`, `namespace`
`sandbox_status_inplace_updating_time`	Gauge	Sandbox实例InplaceUpdate条件转变为False的Unix时间戳	`name`, `namespace`

Sandbox实例资源指标

Sandbox实例对应Pod，资源指标与集群cAdvisor Pod资源指标保持一致。详细指标说明请参见容器集群基础指标。

SandboxSet指标

用于观测SandboxSet资源的副本状态，判断是否存在副本不足或扩缩容异常。

指标名称	类型	说明	标签
`sandboxset_replicas`	Gauge	SandboxSet当前副本数	`name`, `namespace`
`sandboxset_available_replicas`	Gauge	SandboxSet当前可用副本数	`name`, `namespace`
`sandboxset_desired_replicas`	Gauge	SandboxSet期望副本数	`name`, `namespace`

Controller Runtime指标

用于观测controller-runtime框架本身的调谐性能和错误情况，帮助判断控制器是否健康运行。

指标名称	类型	说明	标签
`controller_runtime_reconcile_total`	Counter	每个controller的调谐总次数	`controller`, `result`
`controller_runtime_reconcile_errors_total`	Counter	每个controller的调谐错误总次数	`controller`
`controller_runtime_terminal_reconcile_errors_total`	Counter	每个controller的终态调谐错误总次数	`controller`
`controller_runtime_active_workers`	Gauge	每个controller当前活跃的工作线程数	`controller`
`controller_runtime_webhook_requests_total`	Counter	Admission请求总次数（按HTTP状态码分类）	`webhook`, `code`

Workqueue指标

用于观测controller工作队列的积压和处理情况，判断是否存在队列堆积或线程卡住的问题。

指标名称	类型	说明	标签
`workqueue_depth`	Gauge	工作队列当前深度	`controller`, `name`
`workqueue_unfinished_work_seconds`	Gauge	正在进行且尚未完成的工作秒数（大值表示存在卡住的线程）	`controller`, `name`
`workqueue_longest_running_processor_seconds`	Gauge	工作队列中运行时间最长的处理器已运行的秒数	`controller`, `name`

API Server请求指标

用于观测controller对Kubernetes API Server的请求情况，帮助排查限流或连接异常。

指标名称	类型	说明	标签
`rest_client_requests_total`	Counter	HTTP请求总数（按状态码、方法分类）	`code`, `method`

进程与运行时指标

用于观测controller进程本身的资源使用情况，包括内存、GC、goroutine等，帮助判断进程是否存在资源泄漏。

指标名称	类型	说明
`up`	Gauge	采集连通性状态（1为正常）
`go_goroutines`	Gauge	当前存在的goroutine数量
`go_gc_duration_seconds`	Summary	GC暂停（stop-the-world）耗时分布
`process_resident_memory_bytes`	Gauge	进程常驻内存大小（字节）
`process_open_fds`	Gauge	进程打开的文件描述符数量
`go_memstats_alloc_bytes`	Gauge	堆内存当前已分配并使用的字节数
`go_memstats_sys_bytes`	Gauge	从系统获取的总字节数
`go_memstats_heap_inuse_bytes`	Gauge	堆内存正在使用的字节数
`go_memstats_heap_objects`	Gauge	当前已分配的对象数量
`go_memstats_heap_alloc_bytes`	Gauge	堆内存已分配并使用的字节数
`go_memstats_heap_idle_bytes`	Gauge	堆内存等待使用的字节数
`go_memstats_heap_released_bytes`	Gauge	释放到操作系统的堆内存字节数
`go_memstats_heap_sys_bytes`	Gauge	从系统获取的堆内存字节数
`go_memstats_alloc_bytes_total`	Counter	迄今为止分配的总字节数（包括已释放的）
`go_memstats_next_gc_bytes`	Gauge	下次垃圾回收时的堆内存字节数阈值
`go_memstats_last_gc_time_seconds`	Gauge	上次垃圾回收距离1970年的秒数
`go_memstats_gc_sys_bytes`	Gauge	垃圾回收系统元数据使用的字节数
`go_memstats_buck_hash_sys_bytes`	Gauge	性能分析桶哈希表使用的字节数
`go_memstats_mspan_sys_bytes`	Gauge	mspan结构使用的字节数
`go_memstats_mcache_sys_bytes`	Gauge	mcache结构使用的字节数
`go_memstats_other_sys_bytes`	Gauge	其他系统分配使用的字节数
`go_memstats_stack_sys_bytes`	Gauge	栈分配器从系统获取的字节数

Sandbox Manager指标

Sandbox Manager负责处理Sandbox资源的申请（Claim）、生命周期操作（克隆、删除、暂停、恢复、快照）和路由代理，以下指标来自Manager的/metrics端点。

Sandbox Claim指标

用于观测Sandbox资源申请（Claim）操作的执行情况，包括成功率、耗时和重试次数。

指标名称	类型	说明	标签
`sandbox_claim_total`	Counter	Claim操作总次数	-
`sandbox_claim_creation_responses`	Counter	Sandbox创建请求总次数及结果	`result`
`sandbox_claim_duration_seconds`	Histogram	Claim操作总耗时（秒）	-
`sandbox_claim_retries`	Histogram	每次Claim操作的重试次数	-

生命周期操作指标

用于观测各类Sandbox生命周期操作的执行耗时和结果，帮助评估操作性能和排查失败。

指标名称	类型	说明	标签
`sandbox_clone_duration_seconds`	Histogram	Sandbox克隆操作耗时（秒）	-
`sandbox_delete_duration_seconds`	Histogram	Sandbox删除操作耗时（秒）	-
`sandbox_delete_responses`	Counter	Sandbox删除请求总次数及结果	`result`
`sandbox_pause_duration_seconds`	Histogram	Sandbox暂停操作耗时（秒）	-
`sandbox_resume_duration_seconds`	Histogram	Sandbox恢复操作耗时（秒）	-
`sandbox_snapshot_duration_seconds`	Histogram	Sandbox快照创建耗时（秒）	-

路由与网络指标

用于观测Sandbox Manager代理路由表和Peer节点的状态，以及路由同步操作的性能。

指标名称	类型	说明	标签
`sandbox_routes`	Gauge	代理路由表中当前路由数量	-
`sandbox_peers`	Gauge	当前连接的Peer节点数量	-
`sandbox_route_sync_duration_seconds`	Histogram	路由同步操作耗时（秒）	-
`sandbox_route_sync_total`	Counter	路由同步操作总次数	-

Controller Runtime指标（Manager）

用于观测controller-runtime框架本身的调谐性能和错误情况。

指标名称	类型	说明	标签
`controller_runtime_reconcile_total`	Counter	每个controller的调谐总次数	`controller`, `result`
`controller_runtime_reconcile_errors_total`	Counter	每个controller的调谐错误总次数	`controller`
`controller_runtime_terminal_reconcile_errors_total`	Counter	每个controller的终态调谐错误总次数	`controller`
`controller_runtime_active_workers`	Gauge	每个controller当前活跃的工作线程数	`controller`
`controller_runtime_reconcile_time_seconds`	Histogram	每次调谐的耗时	`controller`
`controller_runtime_max_concurrent_reconciles`	Gauge	每个controller的最大并发调谐数	`controller`
`controller_runtime_reconcile_panics_total`	Counter	每个controller的调谐panic总次数	`controller`
`controller_runtime_webhook_panics_total`	Counter	Webhook panic总次数	-

Workqueue指标（Manager）

用于观测controller工作队列的积压和处理情况。

指标名称	类型	说明	标签
`workqueue_depth`	Gauge	工作队列当前深度	`controller`, `name`
`workqueue_unfinished_work_seconds`	Gauge	正在进行且尚未完成的工作秒数	`controller`, `name`
`workqueue_longest_running_processor_seconds`	Gauge	工作队列中运行时间最长的处理器已运行的秒数	`controller`, `name`
`workqueue_adds_total`	Counter	工作队列处理的添加总次数	`controller`, `name`
`workqueue_retries_total`	Counter	工作队列处理的重试总次数	`controller`, `name`
`workqueue_queue_duration_seconds`	Histogram	项在工作队列中等待的时长	`controller`, `name`
`workqueue_work_duration_seconds`	Histogram	处理工作队列中项的时长	`controller`, `name`

API Server请求指标（Manager）

用于观测manager对Kubernetes API Server的请求情况。

指标名称	类型	说明	标签
`rest_client_requests_total`	Counter	HTTP请求总数（按状态码、方法、主机分类）	`code`, `method`, `host`

进程与运行时指标（Manager）

用于观测Manager进程本身的资源使用情况。

指标名称	类型	说明	标签
`process_cpu_seconds_total`	Counter	进程CPU使用总秒数	-
`process_resident_memory_bytes`	Gauge	进程常驻内存大小（字节）	-
`process_open_fds`	Gauge	进程打开的文件描述符数量	-
`process_max_fds`	Gauge	进程最大文件描述符数量	-
`process_virtual_memory_bytes`	Gauge	进程虚拟内存大小（字节）	-
`process_virtual_memory_max_bytes`	Gauge	进程最大虚拟内存大小（字节）	-
`process_start_time_seconds`	Gauge	进程启动时间（自Unix epoch以来的秒数）	-
`process_network_receive_bytes_total`	Counter	进程接收的网络字节数	-
`process_network_transmit_bytes_total`	Counter	进程发送的网络字节数	-
`go_goroutines`	Gauge	当前存在的goroutine数量	-
`go_threads`	Gauge	创建的OS线程数量	-
`go_info`	Gauge	Go环境信息	`version`
`go_gc_duration_seconds`	Summary	GC暂停（stop-the-world）耗时分布	`quantile`
`go_memstats_alloc_bytes`	Gauge	堆内存当前已分配并使用的字节数	-
`go_memstats_alloc_bytes_total`	Counter	迄今为止分配的总字节数（包括已释放的）	-
`go_memstats_sys_bytes`	Gauge	从系统获取的总字节数	-
`go_memstats_heap_alloc_bytes`	Gauge	堆内存已分配并使用的字节数	-
`go_memstats_heap_idle_bytes`	Gauge	堆内存等待使用的字节数	-
`go_memstats_heap_inuse_bytes`	Gauge	堆内存正在使用的字节数	-
`go_memstats_heap_objects`	Gauge	当前已分配的对象数量	-
`go_memstats_heap_released_bytes`	Gauge	释放到操作系统的堆内存字节数	-
`go_memstats_heap_sys_bytes`	Gauge	从系统获取的堆内存字节数	-
`go_memstats_stack_sys_bytes`	Gauge	栈分配器从系统获取的字节数	-
`go_memstats_stack_inuse_bytes`	Gauge	栈分配器正在使用的字节数	-
`go_memstats_mspan_sys_bytes`	Gauge	mspan结构使用的字节数	-
`go_memstats_mspan_inuse_bytes`	Gauge	mspan结构正在使用的字节数	-
`go_memstats_mcache_sys_bytes`	Gauge	mcache结构使用的字节数	-
`go_memstats_mcache_inuse_bytes`	Gauge	mcache结构正在使用的字节数	-
`go_memstats_buck_hash_sys_bytes`	Gauge	性能分析桶哈希表使用的字节数	-
`go_memstats_gc_sys_bytes`	Gauge	垃圾回收系统元数据使用的字节数	-
`go_memstats_other_sys_bytes`	Gauge	其他系统分配使用的字节数	-
`go_memstats_next_gc_bytes`	Gauge	下次垃圾回收时的堆内存字节数阈值	-
`go_memstats_last_gc_time_seconds`	Gauge	上次垃圾回收距离1970年的秒数	-
`go_memstats_frees_total`	Counter	堆对象释放总次数	-
`go_memstats_mallocs_total`	Counter	堆对象分配总次数（包括已回收的）	-
`go_gc_cycles_automatic_gc_cycles_total`	Counter	Go runtime生成的自动GC周期数	-
`go_gc_cycles_forced_gc_cycles_total`	Counter	应用强制执行的GC周期数	-
`go_gc_cycles_total_gc_cycles_total`	Counter	所有完成的GC周期总数	-
`go_gc_gogc_percent`	Gauge	用户配置的堆大小目标百分比	-
`go_gc_gomemlimit_bytes`	Gauge	用户配置的Go runtime内存限制	-
`go_gc_heap_goal_bytes`	Gauge	GC周期结束时的堆大小目标	-
`go_gc_heap_live_bytes`	Gauge	被上一个GC标记为存活的对象占用的堆内存	-
`go_gc_heap_objects_objects`	Gauge	占用堆内存的对象数量（存活或未清扫）	-
`go_gc_heap_tiny_allocs_objects_total`	Counter	打包成块的小分配数量	-
`go_gc_heap_allocs_bytes_total`	Counter	应用分配到堆的内存累计总和	-
`go_gc_heap_allocs_objects_total`	Counter	应用触发的堆分配累计计数	-
`go_gc_heap_frees_bytes_total`	Counter	垃圾回收器释放的堆内存累计总和	-
`go_gc_heap_frees_objects_total`	Counter	存储被垃圾回收器释放的堆分配累计计数	-
`go_gc_heap_allocs_by_size_bytes`	Histogram	按近似大小分布的堆分配	`le`
`go_gc_heap_frees_by_size_bytes`	Histogram	按近似大小分布的释放堆分配	`le`
`go_gc_scan_globals_bytes`	Gauge	可扫描的全局变量空间总量	-
`go_gc_scan_heap_bytes`	Gauge	可扫描的堆空间总量	-
`go_gc_scan_stack_bytes`	Gauge	上一个GC周期扫描的栈字节数	-
`go_gc_scan_total_bytes`	Gauge	可扫描空间的总量	-
`go_gc_stack_starting_size_bytes`	Gauge	新goroutine的栈大小	-
`go_gc_limiter_last_enabled_gc_cycle`	Gauge	GC CPU限制器最后启用的GC周期	-
`go_gc_pauses_seconds`	Histogram	GC暂停耗时分布（已废弃）	`le`
`go_sched_gomaxprocs_threads`	Gauge	当前runtime.GOMAXPROCS设置	-
`go_sched_goroutines_goroutines`	Gauge	活动goroutine数量	-
`go_sched_latencies_seconds`	Histogram	goroutine在调度器中等待实际运行的时间分布	`le`
`go_sched_pauses_stopping_gc_seconds`	Histogram	GC相关的stop-the-world停止延迟分布	`le`
`go_sched_pauses_stopping_other_seconds`	Histogram	非GC相关的stop-the-world停止延迟分布	`le`
`go_sched_pauses_total_gc_seconds`	Histogram	GC相关的stop-the-world暂停延迟分布	`le`
`go_sched_pauses_total_other_seconds`	Histogram	非GC相关的stop-the-world暂停延迟分布	`le`
`go_sync_mutex_wait_total_seconds_total`	Counter	goroutine在sync.Mutex/sync.RWMutex上阻塞的累计时间	-
`go_cgo_go_to_c_calls_calls_total`	Counter	当前进程从Go到C的调用次数	-
`go_cpu_classes_gc_mark_assist_cpu_seconds_total`	Counter	goroutine协助GC任务的估计总CPU时间	-
`go_cpu_classes_gc_mark_dedicated_cpu_seconds_total`	Counter	在专用处理器上执行GC任务的估计总CPU时间	-
`go_cpu_classes_gc_mark_idle_cpu_seconds_total`	Counter	在空闲CPU资源上执行GC任务的估计总CPU时间	-
`go_cpu_classes_gc_pause_cpu_seconds_total`	Counter	应用被GC暂停的估计总CPU时间	-
`go_cpu_classes_gc_total_cpu_seconds_total`	Counter	执行GC任务的估计总CPU时间	-
`go_cpu_classes_idle_cpu_seconds_total`	Counter	未用于执行任何Go或Go runtime代码的估计总可用CPU时间	-
`go_cpu_classes_scavenge_assist_cpu_seconds_total`	Counter	响应内存压力返回未使用内存的估计总CPU时间	-
`go_cpu_classes_scavenge_background_cpu_seconds_total`	Counter	后台任务返回未使用内存的估计总CPU时间	-
`go_cpu_classes_scavenge_total_cpu_seconds_total`	Counter	返回未使用内存任务的估计总CPU时间	-
`go_cpu_classes_total_cpu_seconds_total`	Counter	用户Go代码或Go runtime的估计总可用CPU时间	-
`go_cpu_classes_user_cpu_seconds_total`	Counter	运行用户Go代码的估计总CPU时间	-
`go_memory_classes_heap_free_bytes`	Gauge	完全空闲且可返回底层系统但尚未返回的内存	-
`go_memory_classes_heap_objects_bytes`	Gauge	被存活对象和尚未标记为自由的死亡对象占用的内存	-
`go_memory_classes_heap_released_bytes`	Gauge	完全空闲并已返回底层系统的内存	-
`go_memory_classes_heap_stacks_bytes`	Gauge	从堆分配并预留用于栈空间的内存	-
`go_memory_classes_heap_unused_bytes`	Gauge	预留用于堆对象但当前未用于保存堆对象的内存	-
`go_memory_classes_metadata_mcache_free_bytes`	Gauge	预留用于runtime mcache结构但未使用的内存	-
`go_memory_classes_metadata_mcache_inuse_bytes`	Gauge	被当前使用的runtime mcache结构占用的内存	-
`go_memory_classes_metadata_mspan_free_bytes`	Gauge	预留用于runtime mspan结构但未使用的内存	-
`go_memory_classes_metadata_mspan_inuse_bytes`	Gauge	被当前使用的runtime mspan结构占用的内存	-
`go_memory_classes_metadata_other_bytes`	Gauge	预留或用于保存runtime元数据的内存	-
`go_memory_classes_os_stacks_bytes`	Gauge	由底层操作系统分配的栈内存	-
`go_memory_classes_other_bytes`	Gauge	用于执行跟踪缓冲区、调试结构等的内存	-
`go_memory_classes_profiling_buckets_bytes`	Gauge	用于性能分析栈跟踪哈希图的内存	-
`go_memory_classes_total_bytes`	Gauge	Go runtime映射到当前进程的所有内存（读写）	-

证书监控指标

用于观测证书读取操作的执行情况。

指标名称	类型	说明
`certwatcher_read_certificate_total`	Counter	证书读取总次数
`certwatcher_read_certificate_errors_total`	Counter	证书读取错误总次数