PagerDuty是一款为企业IT部门提供事件响应的软件。您可以将Prometheus监控接入PagerDuty从而触发自动事件或追踪服务变化。

前提条件

  • 您的K8s集群已接入Prometheus监控。具体操作,请参见开始使用Prometheus监控
  • 您已创建报警规则,且报警规则处于启用状态并被触发。具体操作,请参见创建报警

背景信息

PagerDuty是一款为企业IT部门提供事件响应的软件。当服务出现问题时,PagerDuty支持以电话、短信、邮件等方式通知企业IT部门。关于PagerDuty的更多信息,请参见PagerDuty官网

操作流程

将Prometheus监控接入PagerDuty的操作流程如下图所示。

flow

步骤一:注册账号

注册14天免费试用的PagerDuty账号的操作步骤如下:

  1. 打开PagerDuty注册页面
  2. Try PagerDuty配置向导区域,执行以下操作:
    1. 输入邮箱,然后单击GET STARTED
    2. 输入姓名,然后单击NEXT STEP
    3. 输入密码,然后单击NEXT STEP
    4. 输入子域名,选中服务协议,然后单击CREATE ACCOUNT
    注册完成后跳转到PagerDuty欢迎页面。Welcome

步骤二:创建服务

在PagerDuty控制台为Promethues监控创建对应的服务的操作步骤如下:

  1. 登录PagerDuty控制台
  2. 在顶部菜单栏,选择Services > Service Directory
  3. Service Directory页面,单击New Service
  4. Add a Service页面,输入服务名称,选择Integration TypePrometheus,然后单击Add Service
    说明 您可以根据业务需求设置Service的其他参数。
    跳转的页面显示创建的服务的信息。service

步骤三:获取Integration Key

获取用于将Prometheus监控接入PagerDuty的Integration Key的操作步骤如下:

  1. 在创建的服务的页面下方,单击Integrations页签。
  2. Integrations区域,找到Prometheus服务,在其右侧Integration Key列,单击复制图标将Integration Key复制到剪贴板。
    integration

步骤四:创建联系人

使用Integration Key创建联系人的操作步骤如下:

  1. 登录ARMS控制台
  2. 在左侧导航栏,选择报警管理 > 联系人管理
  3. 联系人管理页面,单击新建联系人
  4. 新建联系人对话框,输入姓名,将钉钉机器人设置为获取的Integration Key,然后单击确认
    contact

步骤五:创建通知策略

为联系人创建通知策略的操作步骤如下:

  1. 登录Prometheus控制台
  2. 在左侧导航栏,单击通知策略
  3. 通知策略页面的通知策略列表区域,单击新增策略
  4. 通知策略页面右侧,输入通知策略的名称,在事件处理区域,选择处理方式生成告警,在当告警生成时区域,选择通知人为创建的联系人,选择通知方式钉钉,设置通知时段,然后在右上角,单击确认图标。

步骤六:修改报警规则

将报警规则的通知策略修改为创建的通知策略的操作步骤如下:

  1. 登录ARMS控制台
  2. 在左侧导航栏,单击Prometheus监控
  3. Prometheus监控页面的顶部菜单栏,选择地域,然后单击目标K8s集群的名称。
  4. 在左侧导航栏,单击报警配置
  5. 在报警配置页面,找到目标报警规则,在其右侧操作列,单击编辑
  6. 编辑报警面板的通知策略下拉列表,选择创建的通知策略,然后单击确定

结果验证

您可以在PagerDuty控制台查看报警以验证是否成功接入。

  1. 登录PagerDuty控制台
  2. 在顶部菜单栏,选择Incidents > Alerts
    Alerts on All Teams页面显示触发的报警。Alerts
  3. 可选:如需查看Alert的详细信息,在Summary列,单击目标Alert的名称。