资源配额（Quota）支持监控资源状况，提供GPU、CPU、内存等监控指标。配置报警规则后，当资源水位异常（如CPU使用率超过阈值）时会发送通知。支持通过云监控和ARMS查看监控数据、配置报警通知和订阅监控指标。
前提条件
设置监控与报警前，需先创建资源配额，详情请参见资源配额（Quota）功能介绍。
监控指标说明
监控指标主要包括GPU、CPU、内存、磁盘、网络相关指标。支持的维度有Quota维度和节点维度。全量指标列表及细节说明请参见PAI-资源配额（Quota）指标列表。
Quota维度
监控指标 | 描述 |
GPU算力使用率（Quota维度） | 指定Quota的GPU算力使用率。 |
GPU显存使用率（Quota维度） | 指定Quota的GPU显存使用率。 |
GPU调度量（Quota维度） | 指定Quota的GPU调度量。 |
GPU总量（Quota维度） | 指定Quota的GPU总量。 |
GPU设备功耗（Quota维度） | 指定Quota的GPU设备功耗。 |
CPU调度量（Quota维度） | 指定Quota的CPU调度量。 |
CPU总量（Quota维度） | 指定Quota的CPU总量。 |
CPU使用率（Quota维度） | 指定Quota的CPU使用百分比。 |
内存使用率（Quota维度） | 指定Quota的内存使用百分比。 |
更多指标，请参考PAI-资源配额（Quota）指标列表。 | |
节点维度
监控指标 | 描述 |
GPU算力使用率（节点维度） | 指定节点的GPU算力使用率。 |
GPU显存使用率（节点维度） | 指定节点的GPU显存使用率。 |
GPU调度量（节点维度） | 指定节点的GPU调度量。 |
GPU总量（节点维度） | 指定节点的GPU总量。 |
GPU设备功耗（节点维度） | 指定节点的GPU设备功耗。 |
CPU调度量（节点维度） | 指定节点的CPU调度量。 |
CPU总量（节点维度） | 指定节点的CPU总量。 |
CPU使用率（节点维度） | 指定节点的CPU使用百分比。 |
内存使用率（节点维度） | 指定节点的内存使用百分比。 |
更多指标，请参考PAI-资源配额（Quota）指标列表。 | |
查看监控视图
登录PAI控制台，在资源配额（Quota）详情页，单击切换至监控页签，查看Quota的监控信息。
监控页面支持Quota维度、节点维度查看监控信息，涵盖GPU、CPU、内存、网络、磁盘的监控指标（说明：监控数据将最多保留30天）。
单击更多，可勾选需要关注的性能指标，并通过拖拽排序调整展示优先级。
监控数据视图支持区域缩放、缩放还原、恢复初始视图和下载。
开启图表同步后，所有图表的缩放动作保持同步，便于多视图对比。
支持自定义每行展示的视图数量。
使用云监控
云监控（CloudMonitor）是阿里云的资源监控服务。您可以通过云监控查看PAI-资源配额（Quota）监控数据、设置告警通知，也可以通过API订阅指标数据来搭建自定义监控大盘。更多信息，请参见什么是云监控。
计费说明
使用云监控服务会产生费用，计费详情请参见云监控计费说明。
查看监控数据
登录云监控控制台。
在左侧导航栏，选择。
在云产品大盘页面，选择PAI-资源配额（Quota）。在搜索框内，选择或搜索资源配额名称，对应的监控图表会在页面下方展示。
在对应的监控图表中，可以进行以下操作：
切换监控维度：目前支持Quota维度和节点维度的监控指标展示。
切换展示时间范围：支持选择1小时、3小时、6小时、12小时、1天、3天、7天、14天或自定义时间范围。
放大视图：您可以单击每个图表右上角的放大按钮
，查看监控数据的细节视图。
配置监控报警
通过监控报警功能，您可以监控资源配额（Quota）中已分配资源的水位，并配置报警规则。当资源水位出现波动（如低于阈值）时，系统会发送报警通知。配置步骤如下：
步骤一：配置报警联系人
登录云监控控制台。
在左侧导航栏，选择。
在报警联系人页签，单击创建联系人，填写报警联系人的姓名、手机号码、邮箱或Webhook地址，并单击确认。
在报警联系组页签，单击新建联系人组，填写报警联系人组的组名，并选择已有报警联系人，然后单击确认。
步骤二：配置报警规则
-
在云监控控制台的左侧导航栏，选择云资源监控 > 云产品监控。
在云产品监控页面，搜索并进入PAI-资源配额（Quota）。
在PAI-资源配额（Quota）页面，选择服务所在的地域，然后单击创建报警规则。
在创建报警规则面板，配置下列参数，并单击确认。
参数
描述
产品
云监控管理的产品名称，选择PAI-资源配额（Quota）。
资源范围
报警规则的作用范围，目前支持全部资源、应用分组和实例：
全部资源：任何资源满足报警规则，都会发送报警通知。
实例：根据您选定的产品，您需要选择关联资源（即资源配额ID），仅选中的单个或多个资源实例满足报警规则时，才发送报警通知。
规则描述
报警规则主体，当监控数据满足指定条件时，触发报警规则。规则描述的设置方法，请参见创建报警规则。
通道沉默周期
报警发生后如果未恢复正常，间隔多久重复发送一次报警通知。
生效时间
报警规则的生效时间。报警规则只在生效时间内才会检查监控数据是否需要报警。
报警联系人组
发送报警的联系人组，选择已绑定报警联系人的报警组。
标签
自定义设置报警规则的标签。包括标签名称和标签值。
在PAI-资源配额（Quota）页面，单击查看报警规则，可查看已创建的报警规则详情、报警历史等，并支持修改规则。
您也可以通过API配置监控报警通知，包括查看报警历史、管理报警模板、配置报警规则和联系人等。详情请参见云监控API目录：报警服务。
订阅监控指标
云监控提供API服务，您可以通过API订阅资源配额的监控指标及数据，搭建自定义监控系统和数据大盘。具体操作，请参见云产品监控API目录。
|
云监控API |
API概述 |
|
查询指定监控项的最新监控数据。 |
|
|
查询指定云产品的指定监控项的监控数据。 |
|
|
查询指定云产品的某个监控项的监控数据。 |
|
|
查询云监控开放的监控项详情。 |
|
|
查询云监控支持的时序类监控项产品列表。 |
|
|
先查询指定云产品的指定监控项的最新监控数据，再查询该监控项排序后的监控数据。 |
以DescribeMetricList接口为例，为您说明如何调用该API来查询PAI-分布式训练（DLC）产品下指定指标的监控数据。
前往PAI-资源配额（Quota）指标列表页面。
在指标列表页面，单击目标指标操作列下的获取指标数据。
在OpenAPI门户页面，配置以下关键参数，其他参数取默认配置。更多参数配置说明，请参见DescribeMetricList。
参数
描述
Namespace
配置为acs_pai_quota。
MetricName
配置对应的监控指标。例如QUOTA_CPU_REQUEST。
StartTime
开始时间。例如2024-05-15 00:00:00。
EndTime
结束时间。例如2024-05-28 00:00:00。
说明StartTime和EndTime之间的间隔小于等于31天。
参数配置完成后，单击发起调用，即可查看相应时间的监控数据。
使用ARMS
应用实时监控服务ARMS（Application Real-Time Monitoring Service）是阿里云云原生可观测产品平台。您可以基于ARMS自定义PAI-资源配额（Quota）的Grafana大盘，并使用Prometheus配置报警规则，全面监控资源配额指标数据。更多信息，请参见应用实时监控服务ARMS。
计费说明
使用ARMS服务会产生费用，计费详情请参见ARMS计费说明。
接入监控数据
操作步骤：
-
登录ARMS控制台。
在左侧导航栏，单击接入中心。
在接入中心页面，单击左侧人工智能页签，然后单击阿里云 PAI-资源配额 (Quota) 服务。
（可选）在弹出的面板中，预览监控数据接入后的展示效果，并查看采集指标和告警规则模板。
效果预览
单击效果预览页签，查看指标监控大盘。
采集指标
单击采集指标页签，查看采集指标。
告警规则模板
单击告警规则模板，查看告警规则模板。
在弹出的面板的开始接入页签，配置以下参数，然后单击确定。
参数
描述
选择数据存储地域
选择数据存储的地域。
接入名称
按照控制台提示信息配置服务的接入名称。
大约等待1~2分钟即可完成监控数据接入。
安装完成后，您可以单击接入管理，查看已接入环境的详细信息。
查看Grafana大盘
登录ARMS控制台，在左侧导航栏选择接入管理，并在已接入环境 > 云服务区域环境页签，单击环境名称。
在组件管理页签的组件类型区域单击大盘，即可查看内置的Grafana大盘。
单击大盘名称，查看监控大盘。
配置Prometheus监控报警
您可以通过Prometheus配置监控报警，操作步骤：
登录ARMS控制台，在左侧导航栏选择接入管理，并在已接入环境 > 云服务区域环境页签，单击环境名称。
在组件管理的组件类型区域单击告警规则，即可查看内置的告警规则。
内置的告警规则会产生告警事件，但是不会进行告警通知，您可以通过以下两种配置方法将告警通知发送到邮件或其他平台：
通过设置通知策略，制定告警事件的匹配规则。当规则触发时，系统会按指定方式向通知对象发送告警信息。具体操作，请参见通知策略。
通过编辑告警规则配置通知方式。
在编辑Prometheus告警规则页面，您可以自定义告警条件、持续时间、告警内容和通知方式。详情请参见创建Prometheus告警规则。