使用ARMS自訂EAS可觀測大盤及警示 - Platform For AI

應用即時監控服務ARMS（Application Real-Time Monitoring Service）是阿里雲雲原生可觀測產品平台。基於ARMS，您可以為PAI-EAS服務自訂可觀測大盤，並配置靈活的警示規則，全面監控EAS指標資料。

計費說明

使用ARMS服務會產生費用，計費說明參見ARMS計費說明。

接入EAS監控指標資料

登入ARMS控制台，在左側導覽列，單擊接入中心。
在接入中心頁面，單擊左側人工智能頁簽，然後單擊阿里雲 PAI EAS 模型線上服務。
在彈出面板的開始接入頁簽，選擇資料存放區地區並配置接入名稱，然後單擊確定。
單擊確定後，彈出面板將關閉，接入過程將在後台自動進行，約需 1~2 分鐘完成。可通過單擊接入管理，查看已接入環境列表，確認接入是否完成。
重要
進階監控指標包含大模型推理架構指標（vLLM或SGLang）、GPU算力指標、PAI EAS訪問網關指標、服務和租戶維度統計指標以及推理應用自訂指標。當前支援的地區包括北京、上海、杭州、烏蘭察布、新加坡、河源，更多地區需提交工單開通。開啟進階監控指標開關。
當您開啟進階監控指標開關時，將包含所有EAS服務和資源群組相關指標。如果您需要自訂可觀測大盤，建議您開啟進階監控指標。如果您使用了自訂監控指標，這些指標也會包含在進階監控指標中，並且指標名會增加custom_首碼。
安裝完成後，您可以單擊接入管理，查看已接入環境的詳細資料。

查看接入的EAS指標資料

在左側導覽列，單擊接入管理，然後在已接入组件頁簽，單擊阿里雲 PAI EAS 模型線上服務卡片。
在彈出的面板中，您可以查看已接入的環境列表。單擊卡片後，右側彈出詳情面板，在 環境列表 頁簽中可查看已接入的環境（如 cn-hangzhou、cn-beijing、cn-shanghai）及組件數量，單擊 查看詳情 可進入對應環境的指標資料頁面。

單擊目標環境操作列下的查看详情，然後切換到指标探索頁簽。在該頁面，您可以查看EAS服務所有的指標詳情。

查看方式	描述
通過過濾指標查看指標詳情	CloudMonitor指標名稱會增加AliyunLearn_eas首碼，與CloudMonitor上展示的EAS指標定義一致，且標籤資訊更加豐富。進階監控指標請參考EAS進階監控指標。在指標探索頁簽的查詢構建器中，在Metric搜尋方塊中輸入指標關鍵詞（如 `AliyunLearn_eas_cpu_core_usage`），從下拉式清單中選擇目標指標（包括 CPU 核心用量、CPU 利用率、GPU 顯存及利用率等），通過Labels下拉框設定篩選條件，然後單擊Run query查看對應的指標折線圖。
藉助PromQL組合，查詢更加豐富的指標。	例如查詢當前所有服務的QPS之和。如下圖所示，切換到Code，輸入`sum(AliyunLearn_eas_qps_total)`，然後單擊Run query，便會展示目前範圍所有EAS服務的QPS之和的變化趨勢。PromQL文法詳情參見時序資料查詢和分析文法。您也可以單擊輸入框後的AI助手按鈕來學習PromQL文法資訊。

自訂可觀測可視化大盤

查看Grafana大盤詳情。
ARMS可觀測可視化大盤使用Grafana實現，且內建了一個預設的Grafana大盤。您可以按照以下操作步驟，查看大盤詳情。
1. 進入雲端服務環境詳情頁面。具體操作請參見步驟二：查看監控大盤。
2. 在组件管理頁簽的组件类型地區，選擇阿里雲PAI EAS線上預測服務，並單擊右側的大盘以及大盤名稱，來查看內建的Grafana大盤。
為預設的Grafana大盤增加一個全域QPS面板。
1. 在大盤詳情頁面單擊右上方的Add panel按鈕，然後在新增的Add panel面板中，單擊Add a new panel。
2. 在Edit Panel頁面右側，將圖表類型切換為Stat。
3. 在頁面左下角，將Data source切換為${datasource}，然後在Metrics browser文字框中輸入PromQL查詢語句sum(AliyunLearn_eas_eas_qps_total) 後，單擊Run queries。
4. 通過調整threshold，為不同的閾值配置不同的展示顏色。配置完成後，頁面會預覽圖表效果，通過單擊Apply按鈕儲存設定。

關於Grafana的更多介紹請參見可觀測可視化 Grafana 版。

自訂監控警示

ARMS提供了完整的警示能力，參照步驟二：查看監控大盤進入雲端服務環境詳情頁面，在告警规则頁簽，您可以查看ARMS預置的預設警示規則模板。在ARMS控制台的接入管理頁面，選擇對應的雲端服務地區環境，在左側組件類型列表中選擇阿里雲 PAI EAS 線上預測服務，然後單擊警示規則頁簽。預置警示規則均為P2層級，初始狀態均為已停止，警示分組為 cloud-learn_eas-Cloud-Default。這些規則在ARMS控制台告警规则頁簽中以中文名稱顯示，例如gpu_memory_util對應的規則名稱為“阿里雲 learn_eas 顯存使用率警示”，rps_status_5xx_ratio對應“阿里雲 learn_eas 狀態代碼5xx響應佔比警示”。如需在Prometheus中定位並查詢這些指標，請使用帶AliyunLearn_eas_eas_首碼的完整指標名（例如AliyunLearn_eas_eas_gpu_memory_util、AliyunLearn_eas_eas_rps_status_5xx_ratio）。

如果上述預設範本無法滿足您的需求，您可以按照以下操作步驟配置自訂警示規則。

登入ARMS控制台，在左側導覽列，選擇Prometheus监控 > Prometheus告警规则，然後單擊创建Prometheus告警规则。

在创建Prometheus告警规则頁面，配置以下關鍵參數，更多參數配置說明請參見建立Prometheus警示規則。

參數	描述
检测类型	選擇自定义PromQL。
自定义PromQL语句	輸入`sum(AliyunLearn_eas_eas_qps_total) > 20`。
告警内容	使用者收到的警示資訊。
告警通知	設定警示通知對象。

單擊完成。
您可以在Prometheus警示規則頁面查看已建立的警示規則。當所有服務的全域QPS之和大於20時，您配置的通知對象便能收到警示。

附錄：EAS進階監控指標

說明

以下指標僅在ARMS開啟進階監控指標時才會顯示。

指標	指標含義	指標標籤（維度）	指標分類	指標類型	單位	指標周期（單位s）
instance_cpu_count	服務執行個體CPU數量	instance,resource_type	CPU	Gauge	count	60
instance_gpu_count	服務執行個體GPU數量	instance,resource_type	GPU	Gauge	count	60
instance_cpu_usage	服務執行個體CPU使用量	instance	CPU	Gauge	core	60
instance_user_cpu_usage	服務執行個體使用者進程CPU使用量	instance	CPU	Gauge	core	60
instance_system_cpu_usage	服務執行個體系統進程CPU使用量	instance	CPU	Gauge	core	60
instance_cpu_util	服務執行個體CPU使用率	instance	CPU	Gauge	%	60
instance_memory_rss_usage	服務執行個體記憶體使用量量	instance	Memory	Gauge	byte	60
instance_memory_cache_usage	服務執行個體記憶體緩衝使用量	instance	Memory	Gauge	byte	60
instance_memory_total	服務執行個體記憶體總量	instance	Memory	Gauge	byte	60
instance_memory_util	服務執行個體記憶體使用量率	instance	Memory	Gauge	%	60
instance_response	服務執行個體請求數	instance	Request	Counter	count	60
instance_gpu_util	服務執行個體GPU使用率	instance	GPU	Gauge	%	60
instance_gpu_memory_usage	服務執行個體顯存使用量	instance	GPU	Gauge	MiB	60
instance_gpu_memory_total	服務執行個體顯存總量	instance	GPU	Gauge	MiB	60
instance_gpu_memory_util	服務執行個體顯存使用率	instance	GPU	Gauge	MiB	60
instance_gpu_memory_bandwidth_limit	服務執行個體GPU顯存頻寬節流設定	instance	GPU	Gauge	bytes/second	60
instance_gpu_temperature	服務執行個體GPU溫度	instance	GPU	Gauge	°C	60
instance_gpu_slow_temperature	服務執行個體GPU降頻溫度	instance	GPU	Gauge	°C	60
instance_gpu_shut_temperature	服務執行個體GPU關機溫度	instance	GPU	Gauge	°C	60
instance_gpu_nvswitch_error	服務執行個體NVSwitch致命錯誤資訊	instance	GPU	Gauge	count	60s
instance_gpu_nvswitch_non_fatal_error	服務執行個體NVSwitch非致命錯誤資訊	instance	GPU	Gauge	count	60
instance_gpu_ecc_total_vol_sbe	服務執行個體單位元易失性ECC錯誤總數	instance	GPU	Counter	count	60
instance_gpu_ecc_total_vol_dbe	服務執行個體雙位元易失性ECC錯誤總數	instance	GPU	Counter	count	60
instance_gpu_ecc_total_agg_sbe	服務執行個體單位元彙總（持久性）ECC錯誤總數	instance	GPU	Counter	count	60
instance_gpu_ecc_total_agg_dbe	服務執行個體雙位元彙總（持久性）ECC錯誤總數	instance	GPU	Counter	count	60
instance_gpu_remap_fail	服務執行個體行重新對應失敗次數	instance	GPU	Gauge	count	60
instance_gpu_remap_pending	服務執行個體行重新對應待處理次數	instance	GPU	Gauge	count	60
instance_gpu_pcie_replay_counter	服務執行個體PCIe重傳計數器	instance	GPU	Gauge	count	60
instance_gpu_pcie_transmit_measure_by_dcgm	服務執行個體通過DCGM測量的PCIe傳輸速率	instance	GPU	Gauge	bytes/second	60
instance_gpu_pcie_receive_measure_by_dcgm	服務執行個體通過DCGM測量的PCIe接收速率	instance	GPU	Gauge	bytes/second	60
instance_gpu_graphics_engine_util	服務執行個體圖形引擎利用率	instance	GPU	Gauge	ratio (0~1)	60
instance_gpu_sm_util	服務執行個體SM（流式多處理器）利用率	instance	GPU	Gauge	ratio (0~1)	60
instance_gpu_dram_active	服務執行個體裝置記憶體介面活躍發送或接收資料的比率	instance	GPU	Gauge	ratio (0~1)	60
instance_gpu_tensortflops_used	服務執行個體Tensor管道使用的Tflops	instance	GPU	Gauge	count	60
instance_gpu_memory_bandwidth_used	服務執行個體記憶體頻寬使用量	instance	GPU	Gauge	bytes/second	60
instance_gpu_sm_clock	服務執行個體SM時鐘頻率	instance	GPU	Gauge	MHz	60
instance_gpu_sm_occupancy	服務執行個體SM上駐留的Warp數量比例	instance	GPU	Gauge	ratio (0~1)	60
instance_gpu_fp32tflops_used	服務執行個體FP32管道使用的Tflops	instance	GPU	Gauge	count	60
instance_gpu_fp16tflops_used	服務執行個體FP16管道使用的Tflops	instance	GPU	Gauge	count	60
instance_gpu_pipe_fp32_active	服務執行個體FP32管道活躍周期比例	instance	GPU	Gauge	ratio (0~1)	60
instance_gpu_pipe_fp16_active	服務執行個體FP16管道活躍周期比例	instance	GPU	Gauge	ratio (0~1)	60s
instance_gpu_pipe_tensor_active	服務執行個體Tensor管道活躍周期比例	instance	GPU	Gauge	ratio (0~1)	60
instance_gpu_power_usage	服務執行個體GPU功耗	instance	GPU	Gauge	watts	60
instance_accelerator_power_usage	服務執行個體加速器功耗	instance	GPU	Gauge	milliwatts	60
instance_gpu_mem_copy_util	服務執行個體記憶體複製利用率	instance	GPU	Gauge	%	60
instance_gpu_health_count	服務執行個體GPU健康狀態計數的總和	instance	GPU	Gauge	count	60
instance_gpu_lost_card_num	服務執行個體VM中丟失顯卡數量	instance	GPU	Gauge	count	60
instance_gpu_driver_hang	服務執行個體驅動掛起次數	instance	GPU	Gauge	count	60
instance_gpu_profile_status	服務執行個體Amperf效能分析狀態	instance	GPU	Gauge	count	60
instance_gpu_uncorrectable_ecc	服務執行個體無法糾正的ECC錯誤數量	instance	GPU	Gauge	count	60
instance_gpu_xid_cnt	服務執行個體Xid錯誤數	instance	GPU	Gauge	count	60
instance_gpu_fatal_xid_error	服務執行個體致命Xid錯誤數	instance	GPU	Gauge	count	60
instance_gpu_kernel_err_cnt	服務執行個體來自核心日誌的非Xid錯誤數	instance	GPU	Gauge	count	60
instance_qps	服務執行個體每秒請求數	instance	Request	Gauge	count	60
instance_traffic	服務執行個體流量	instance	Request	Gauge	bps	60
instance_avg_latency	服務執行個體平均請求回應時間	instance	Request	Gauge	ms	60
instance_tpxx_latency	服務執行個體TOPXX請求回應時間	instance	Request	Gauge	ms	60
instance_traffic_in	服務執行個體入流量	instance	Request	Gauge	bps	60
instance_traffic_out	服務執行個體出流量	instance	Request	Gauge	bps	60
instance_tcp_connections	服務執行個體TCP串連數	instance	Request	Gauge	count	60
service_replicas	服務執行個體數	service	Meta	Gauge	count	60
service_pending_replicas	待執行的服務執行個體數	service	Meta	Gauge	count	60
service_available_replicas	運行中的服務執行個體數	service	Meta	Gauge	count	60
service_replicas_with_resource_type	服務執行個體數（帶有資源類型標籤）	service	Meta	Gauge	count	60
service_cpu_count	服務佔用CPU總數	service	CPU	Gauge	core	60
service_cpu_count_with_resource_type	服務CPU總數（帶有資源類型標籤）	service	CPU	Gauge	core	60
service_gpu_count_with_resource_type	服務GPU總數（帶有資源類型標籤）	service	GPU	Gauge	count	60
service_rps_status_2xx	服務2XX響應請求數	service	Request	Gauge	count	60
service_rps_status_4xx	服務4XX響應請求數	service	Request	Gauge	count	60
service_rps_status_5xx	服務5XX響應請求數	service	Request	Gauge	count	60
service_rps_status_2xx_ratio	服務2XX響應請求數佔比	service	Request	Gauge	%	60
service_rps_status_4xx_ratio	服務4XX響應請求數佔比	service	Request	Gauge	%	60
service_rps_status_5xx_ratio	服務5XX響應請求數佔比	service	Request	Gauge	%	60
service_qps	服務每秒請求數	service	Request	Gauge	count	60
service_avg_latency	服務平均請求回應時間	service	Request	Gauge	ms	60
service_tpxx_latency	服務TOPXX請求回應時間	service	Request	Gauge	ms	60
service_tp100_latency	服務TOP100請求回應時間	service	Request	Gauge	ms	60
service_traffic_in	服務入流量	service	Network	Gauge	bps	60
service_traffic_out	服務出流量	service	Network	Gauge		60
service_cpu_usage	服務CPU使用量	service	CPU	Gauge	core	60
service_user_cpu_usage	服務使用者進程CPU使用量	service	CPU	Gauge	core	60
service_system_cpu_usage	服務系統進程CPU使用量	service	CPU	Gauge	core	60
service_cpu_util	服務CPU使用率	service	CPU	Gauge	%	60
service_memory_rss_usage	服務記憶體使用量量	service	Memory	Gauge	byte	60
service_memory_cache_usage	服務記憶體緩衝使用量	service	Memory	Gauge	byte	60
service_memory_total	服務記憶體總量	service	Memory	Gauge	byte	60
service_memory_util	服務記憶體使用量率	service	Memory	Gauge	%	60
service_gpu_util	服務GPU使用率	service	GPU	Gauge	%	60
service_gpu_memory_usage	服務顯存使用量	service	GPU	Gauge	MiB	60
service_gpu_memory_total	服務顯存總量	service	GPU	Gauge	MiB	60
service_gpu_memory_util	服務顯存使用率	service	GPU	Gauge	MiB	60
service_gpu_memory_bandwidth_limit	服務GPU顯存頻寬節流設定	service	GPU	Gauge	bytes/second	60
service_gpu_temperature	服務GPU溫度	service	GPU	Gauge	°C	60
service_gpu_slow_temperature	服務GPU降頻溫度	service	GPU	Gauge	°C	60
service_gpu_shut_temperature	服務GPU關機溫度	service	GPU	Gauge	°C	60
service_gpu_nvswitch_error	服務NVSwitch致命錯誤資訊	service	GPU	Gauge	count	60
service_gpu_nvswitch_non_fatal_error	服務NVSwitch非致命錯誤資訊	service	GPU	Gauge	count	60
service_gpu_ecc_total_vol_sbe	服務單位元易失性ECC錯誤總數	service	GPU	Counter	count	60
service_gpu_ecc_total_vol_dbe	服務雙位元易失性ECC錯誤總數	service	GPU	Counter	count	60
service_gpu_ecc_total_agg_sbe	服務單位元彙總（持久性）ECC錯誤總數	service	GPU	Counter	count	60
service_gpu_ecc_total_agg_dbe	服務雙位元彙總（持久性）ECC錯誤總數	service	GPU	Counter	count	60
service_gpu_remap_fail	服務行重新對應失敗次數	service	GPU	Gauge	count	60
service_gpu_remap_pending	服務行重新對應待處理次數	service	GPU	Gauge	count	60
service_gpu_pcie_replay_counter	服務PCIe重傳計數器	service	GPU	Gauge	count	60
service_gpu_pcie_transmit_measure_by_dcgm	服務通過DCGM測量的PCIe傳輸速率	service	GPU	Gauge	bytes/second	60
service_gpu_pcie_receive_measure_by_dcgm	服務通過DCGM測量的PCIe接收速率	service	GPU	Gauge	bytes/second	60
service_gpu_graphics_engine_util	服務圖形引擎利用率	service	GPU	Gauge	ratio (0~1)	60
service_gpu_sm_util	服務SM（流式多處理器）利用率	service	GPU	Gauge	ratio (0~1)	60
service_gpu_dram_active	服務裝置記憶體介面活躍發送或接收資料的比率	service	GPU	Gauge	ratio (0~1)	60
service_gpu_tensortflops_used	服務Tensor管道使用的Tflops	service	GPU	Gauge	count	60
service_gpu_memory_bandwidth_used	服務記憶體頻寬使用量	service	GPU	Gauge	bytes/second	60
service_gpu_sm_clock	服務SM時鐘頻率	service	GPU	Gauge	MHz	60
service_gpu_sm_occupancy	服務SM上駐留的Warp線程數量比例	service	GPU	Gauge	ratio (0~1)	60
service_gpu_fp32tflops_used	服務FP32管道使用的Tflops	service	GPU	Gauge	count	60
service_gpu_fp16tflops_used	服務FP16管道使用的Tflops	service	GPU	Gauge	count	60
service_gpu_pipe_fp32_active	服務FP32管道活躍周期比例	service	GPU	Gauge	ratio (0~1)	60
service_gpu_pipe_fp16_active	服務FP16管道活躍周期比例	service	GPU	Gauge	ratio (0~1)	60
service_gpu_pipe_tensor_active	服務Tensor管道活躍周期比例	service	GPU	Gauge	ratio (0~1)	60
service_gpu_power_usage	服務GPU功耗	service	GPU	Gauge	watts	60
service_accelerator_power_usage	服務加速器功耗	service	GPU	Gauge	milliwatts	60
service_gpu_mem_copy_util	服務記憶體複製利用率	service	GPU	Gauge	%	60
service_gpu_health_count	服務GPU健康狀態計數的總和	service	GPU	Gauge	count	60
service_gpu_lost_card_num	服務VM中丟失顯卡數量	service	GPU	Gauge	count	60
service_gpu_driver_hang	服務驅動掛起次數	service	GPU	Gauge	count	60
service_gpu_profile_status	服務Amperf效能分析狀態	service	GPU	Gauge	count	60
service_gpu_uncorrectable_ecc	服務無法糾正的ECC錯誤數量	service	GPU	Gauge	count	60
service_gpu_xid_cnt	服務Xid錯誤數	service	GPU	Gauge	count	60
service_gpu_fatal_xid_error	服務致命Xid錯誤數	service	GPU	Gauge	count	60
service_gpu_kernel_err_cnt	服務來自核心日誌的非Xid錯誤數	service	GPU	Gauge	count	60
service_tcp_connections	服務TCP串連數	service	Network	Gauge	count	60
service_gateway_requests	llm-gateway：gateway當前接受到的請求數	service	Request	Gauge	count	60
service_gateway_pending_requests	llm-gateway：當前緩衝在gateway中的請求數	service	Request	Gauge	count	60
service_llm_ttft_max	llm-gateway: llm流式請求的首包延時的最大值	service	Request	Gauge	time	60
service_llm_ttft_min	llm-gateway: llm流式請求的首包延時的最小值	service	Request	Gauge	time	60
service_llm_ttft_mean	llm-gateway: llm流式請求的首包延時的平均值	service	Request	Gauge	time	60
service_llm_ttft_percent	llm-gateway: llm流式請求的首包延時的分位值	service	Request	Gauge	time	60
service_llm_tpot_max	llm-gateway: llm流式請求的每包延時的最大值	service	Request	Gauge	time	60
service_llm_tpot_min	llm-gateway: llm流式請求的每包延時的最小值	service	Request	Gauge	time	60
service_llm_tpot_mean	llm-gateway: llm流式請求的每包延時的平均值	service	Request	Gauge	time	60
service_llm_tpot_percent	llm-gateway: llm流式請求的每包延時的分位值	service	Request	Gauge	time	60
service_endpoint_llm_waiting_requests	llm-gateway: llm推理引擎內部正在排隊等待的請求數	service	Request	Gauge	count	60
service_endpoint_llm_running_requests	llm-gateway: llm推理引擎內部正在運行處理的請求數	service	Request	Gauge	count	60
service_endpoint_llm_gpu_cache_usage	llm-gateway: llm推理引擎gpu kv-cache的使用率	service	Request	Gauge	count	60
service_endpoint_llm_tps_in	llm-gateway: llm引擎每秒的輸入的token數	service	Request	Gauge	count	60
service_endpoint_llm_tps_out	llm-gateway: llm引擎每秒輸出的token數	service	Request	Gauge	count	60
resource_instance_cpu_util	資源群組執行個體CPU使用率	instance_id	Resource Instance	Gauge	%	60
resource_instance_memory_total	資源群組執行個體記憶體總量	instance_id	Resource Instance	Gauge	byte	60
resource_instance_memory_used	資源群組執行個體記憶體使用量量	instance_id	Resource Instance	Gauge	byte	60
resource_instance_memory_util	資源群組執行個體記憶體使用量率	instance_id	Resource Instance	Gauge	%	60
resource_instance_memory_cache	資源群組執行個體記憶體緩衝使用量	instance_id	Resource Instance	Gauge	byte	60
resource_instance_memory_free	資源群組執行個體記憶體空餘量	instance_id	Resource Instance	Gauge	byte	60
resource_instance_traffic_in	資源群組執行個體入流量	instance_id	Resource Instance	Gauge	bytes/second	60
resource_instance_traffic_out	資源群組執行個體出流量	instance_id	Resource Instance	Gauge	bytes/second	60
resource_instance_disk_used	資源群組執行個體硬碟使用量	instance_id	Resource Instance	Gauge	byte	60
resource_instance_disk_total	資源群組執行個體硬碟總量	instance_id	Resource Instance	Gauge	byte	60
resource_instance_disk_util	資源群組執行個體硬碟使用率	instance_id	Resource Instance	Gauge	byte	60
resource_instance_tcp_established	資源群組執行個體TCP穩定連結數	instance_id	Resource Instance	Gauge	count	60
resource_instance_tcp_time_wait	資源群組執行個體TCP等待連結數	instance_id	Resource Instance	Gauge	count	60
resource_instance_gpu_util	資源群組執行個體GPU使用率	instance_id	Resource Instance	Gauge	%	60
resource_instance_gpu_memory_usage	資源群組執行個體顯存使用量	instance_id	Resource Instance	Gauge	MiB	60
resource_instance_gpu_memory_total	資源群組執行個體顯存總量	instance_id	Resource Instance	Gauge	MiB	60
resource_instance_gpu_memory_util	資源群組執行個體顯存使用率	instance_id	Resource Instance	Gauge	%	60
resource_cpu_util	資源群組CPU使用率	resource	Resource	Gauge	%	60
resource_memory_total	資源群組記憶體總量	resource	Resource	Gauge	byte	60
resource_memory_used	資源群組記憶體使用量量	resource	Resource	Gauge	byte	60
resource_memory_util	資源群組記憶體使用量率	resource	Resource	Gauge	%	60
resource_memory_cache	資源群組記憶體緩衝使用量	resource	Resource	Gauge	byte	60
resource_memory_free	資源群組記憶體空餘量	resource	Resource	Gauge	byte	60
resource_traffic_in	資源群組入流量	resource	Resource	Gauge	bytes/second	60
resource_traffic_out	資源群組出流量	resource	Resource	Gauge	bytes/second	60
resource_disk_used	資源群組硬碟使用量	resource	Resource	Gauge	byte	60
resource_disk_total	資源群組硬碟總量	resource	Resource	Gauge	byte	60
resource_disk_util	資源群組硬碟使用率	resource	Resource	Gauge	byte	60
resource_tcp_established	資源群組TCP穩定連結數	resource	Resource	Gauge	count	60
resource_tcp_time_wait	資源群組TCP等待連結數	resource	Resource	Gauge	count	60
resource_gpu_util	資源群組GPU使用率	resource	Resource	Gauge	%	60
resource_gpu_memory_usage	資源群組顯存使用量	resource	Resource	Gauge	MiB	60
resource_gpu_memory_total	資源群組顯存總量	resource	Resource	Gauge	MiB	60
resource_gpu_memory_util	資源群組顯存使用率	resource	Resource	Gauge	%	60