人工智能平台 PAI：训练监控与报警

计费说明

使用云监控会产生费用，计费说明请参见云监控计费说明。

查看监控数据

1. 登录云监控控制台。

2. 在左侧导航栏，选择可视化（Dashboard） > 云产品大盘。

3. 在云产品大盘页面，选择PAI-分布式训练（DLC），并在搜索框内，选择或搜索工作空间ID，即可查看对应的监控图表。如何查询工作空间ID，请参见管理工作空间。

   监控图表区域在 Job维度 下展示三个GPU指标面板：GPU显存设备接口使用率(作业维度)(%)、GPU算力使用率(作业维度)(%)、GPU SM设备使用率(作业维度)(%)，上报周期均为10秒。

   在对应监控图表中，可以进行以下操作：

   • 切换监控维度：目前支持Job维度、POD（Worker）维度及GPU维度的监控指标展示。

     • 单击Job维度，您可以选择或输入DLC任务ID，查看单个任务的监控数据视图。

     • 单击POD维度，您可以选择或输入POD ID，查看单个POD的监控数据视图。

     • 单击GPU维度，您可以选择或输入POD ID，查看指定DLC任务单个POD的GPU维度的监控数据视图。

   • 切换展示时间范围：支持选择 1小时、3小时、6小时、12小时、1天、3天、7天、14天 或 自定义 时间段查看监控数据。

   • 放大视图：您可以单击每个图表右上角的放大按钮，查看监控数据的细节视图。

配置监控报警

您可以通过云监控控制台或API配置报警规则，当DLC任务资源水位异常时自动发送通知。

配置报警联系人

1. 登录云监控控制台。

2. 在左侧导航栏，选择报警服务 > 报警联系人。

3. 在报警联系人页签，单击创建联系人，填写报警联系人的姓名、手机号码、邮箱或Webhook地址，并单击确认。

4. 在报警联系组页签，单击新建联系人组，填写报警联系人组的组名，并选择已有报警联系人，然后单击确认。

配置报警规则

1. 在云监控控制台的左侧导航栏，选择云资源监控 > 云产品监控。

2. 在云产品监控页面，搜索并进入PAI-分布式训练（DLC）。在搜索框中输入 PAI-分布式训练（DLC），在搜索结果的 指标监控 分类下，单击 PAI-分布式训练（DLC）。

3. 在PAI-分布式训练（DLC）页面，选择服务所在的地域，并单击创建报警规则。

4. 在创建报警规则面板，配置下列参数，并单击确认。

   参数	描述
   产品	云监控管理的产品名称，选择PAI-分布式训练（DLC）。
   资源范围	报警规则的作用范围，目前支持全部资源、实例（作业）： 全部资源：DLC的任何资源满足报警规则，都会发送报警通知。 实例：根据您选定的产品，您需要在关联资源中添加需要关联的工作空间。仅添加的工作空间下的DLC作业满足报警规则时，才发送报警通知。
   规则描述	报警规则主体，当监控数据满足指定条件时，触发报警规则。规则描述的设置方法，请参见创建报警规则。
   通道沉默周期	报警发生后如果未恢复正常，间隔多久重复发送一次报警通知。
   生效时间	报警规则的生效时间。报警规则只在生效时间内才会检查监控数据是否需要报警。
   标签	自定义报警规则的标签，包括标签名称和标签值。
   报警联系人组	发送报警的联系人组，选择已绑定报警联系人的报警组。

5. 在PAI-分布式训练（DLC）页面，单击查看报警规则，查看已创建的报警规则详情、报警历史等，并支持修改规则。

订阅监控指标

通过云监控API订阅DLC监控指标数据，可搭建自定义监控系统和数据大盘。详情请参见云产品监控API目录。

以DescribeMetricList接口为例，为您说明如何调用该API来查询PAI-分布式训练（DLC）产品下指定指标的监控数据。

1. 前往分布式训练（DLC）指标列表页面。

2. 在指标列表页面，单击目标指标操作列下的获取指标数据。在指标列表页面搜索目标监控指标（如 JOB_GPU_ACCELERATOR_DUTTY_UTIL），找到对应指标后，单击操作列的获取指标数据，进入 OpenAPI 门户页面。

3. 在OpenAPI门户页面，配置以下关键参数，其他参数取默认配置。更多参数配置说明，请参见DescribeMetricList。

   参数	描述
   Namespace	配置为acs_pai_dlc。
   MetricName	配置对应的监控指标。例如CARD_GPU_DRAM_ACTIVE_UTIL。
   StartTime	开始时间。例如2024-05-15 00:00:00。
   EndTime	结束时间。例如2024-05-28 00:00:00。 说明 StartTime和EndTime之间的间隔小于等于31天。

4. 参数配置完成后，单击发起调用，即可查看相应时间的监控数据。单击发起调用，调用成功后返回状态码 200，响应体中 Datapoints 数组包含 timestamp、jobId、regionId、userId、workspaceId、Value 等监控数据字段。

计费说明

使用ARMS会产生费用，计费说明请参见ARMS计费说明。

接入监控数据

操作步骤如下：

1. 登录ARMS控制台，然后在左侧导航栏，单击接入中心。

2. 在接入中心页面，单击左侧人工智能页签，然后单击阿里云 PAI-DLC分布式训练服务。

3. 在弹出面板的开始接入页签，选择数据存储地域并配置接入名称，然后单击确定。

   大约需要等待1~2分钟，即可完成PAI-DLC分布式训练服务的接入。您也可以切换到效果预览、采集指标及告警规则模板页签，分别查看指标监控大盘、支持采集的指标以及告警规则名称和模板详情。

4. 安装完成后，您可以单击接入管理，查看已接入环境的详细信息。

查看Grafana大盘

1. 登录ARMS控制台，在左侧导航栏选择接入管理，并在已接入环境 > 云服务区域环境页签，单击环境名称。

2. 在组件管理页签的组件类型区域，选择阿里云PAI-DLC分布式训练服务，并单击右侧的大盘，即可查看内置的Grafana大盘。

3. 单击大盘名称，查看监控大盘。进入 阿里云 Pai-Dlc 分布式训练服务-实例详情大盘 后，顶部提供 workspaceId、jobId、pod、gpu 四个下拉筛选器，左侧分为 作业维度、卡维度、Pod 维度 三个面板分组。Pod 维度下可查看 pod 详情表格（包含 CPU 使用率、磁盘读写 IO 速率、内存使用量等指标）以及 CPFS 读取延迟、CPFS 写入数据量、CPFS 读取数据量等时序图表。

配置Prometheus报警

通过Prometheus配置监控报警，操作步骤如下：

1. 登录ARMS控制台，在左侧导航栏选择接入管理，并在已接入环境 > 云服务区域环境页签，单击环境名称。

2. 在组件管理的组件类型列表中，选择阿里云PAI-DLC分布式训练服务并单击告警规则，即可查看内置的告警规则。内置规则默认为已停止状态。

3. 内置的告警规则会产生告警事件，但不会自动发送通知。您可以通过以下两种方式配置通知：

   • 设置通知策略：定义告警事件的匹配规则，触发时按指定方式发送通知。具体操作请参见通知策略。

   • 通过编辑告警规则配置通知方式。在告警规则管理页面，左侧导航栏选择目标组件类型（如阿里云 PAI-DLC 分布式训练服务、阿里云 Pai-交互式建模（Dsw）、阿里云 PAI-资源配额 (Quota) 服务、PAI-Quota(非灵骏版)），在规则列表中找到目标规则并单击编辑按钮进入编辑页面。在编辑Prometheus告警规则页面，您也可以自定义告警条件、持续时间、告警内容以及告警通知等。有关告警详细配置的信息，请参见创建Prometheus告警规则。编辑Prometheus告警规则时，设置检测类型为自定义PromQL，在自定义PromQL语句中输入表达式（如 AliyunPaidlc_POD_STATE_ACTIVE{} > 80），设置持续时间为2分钟。将告警等级设置为P2。在告警通知区域选择极简模式，配置通知对象、通知时段（00:00至23:59）及重复策略，完成后单击完成。