通過Prometheus監控EAS推理服務 - Platform For AI

您可以通過CloudMonitor2.0的接入中心將PAI-EAS推理服務的監控指標接入Prometheus服務，使用PromQL查詢指標資料，並對接到Grafana等自有監控系統，實現推理服務的全面監控。

計費說明

在CloudMonitor2.0的接入中心配置PAI-EAS 推理服務監控指標和PAI-EAS 資源群組監控指標會產生以下費用：

步驟一：接入EAS監控指標

登入CloudMonitor2.0控制台，選擇目標工作空間後，在左側導覽列單擊接入中心。
在接入中心頁面的搜尋方塊中，輸入"模型線上服務 PAI-EAS"，單擊搜尋結果卡片。
接入資料選擇PAI-EAS 推理服務監控指標和PAI-EAS 資源群組監控指標。
重要
進階監控指標包含大模型推理架構指標（vLLM或SGLang）、GPU算力指標、PAI EAS訪問網關指標、服務和租戶維度統計指標以及推理應用自訂指標（指標名會增加custom_首碼），具體參見EAS服務和資源群組相關指標。當前支援的地區包括北京、上海、杭州、烏蘭察布、新加坡、河源，更多地區需提交工單開通。
如果您需要構建Grafana可視化大盤或配置自訂警示，建議開啟進階監控指標。
接入過程將在後台自動進行，約需 1~2 分鐘完成。您可以單擊接入管理，查看已接入環境的詳細資料，確認接入是否完成。

步驟二：擷取Prometheus資料來源資訊

CloudMonitor2.0會建立對應的Prometheus執行個體用於儲存EAS監控指標資料，預設儲存位置為RegionShare:{{workspaceName}}:{{regionId}}（其中{{workspaceName}}為工作空間名稱，{{regionId}}為地區ID）。

如下擷取該Prometheus執行個體的地區和訪問地址，可通過Prometheus API擷取監控資料。

切換到接入管理頁簽，在接入配置列表中單擊目標接入名稱左側的展開表徵圖。
在展開的子項中，找到PAI-EAS 推理服務監控指標或PAI-EAS 資源群組監控指標，查看接入組件、狀態、地區等資訊。
在操作列單擊資料來源，查看Prometheus服務的地區和訪問地址。

步驟三：查詢和探索指標

您可以進入Prometheus服務，通過指標探索或PromQL查詢EAS監控指標資料。

CloudMonitor指標名稱會增加AliyunLearn_eas首碼，與CloudMonitor上展示的EAS指標定義一致，且標籤資訊更加豐富。
進階監控指標請參考EAS進階監控指標。

操作步驟如下：

在步驟二的資料來源頁面，單擊執行個體ID，跳轉Prometheus服務詳情頁面。

左側導覽列切換到指標管理，在指标探索頁簽，查看EAS服務的指標詳情。

查看方式

操作說明

通過過濾指標查看指標詳情

在指標探索頁簽的查詢構建器中，單擊Metric探索。
在搜尋方塊中輸入指標關鍵詞（如 AliyunLearn），從下拉式清單中選擇目標指標（如 CPU 核心用量、CPU 利用率、GPU 顯存利用率等）。
在操作列單擊繼續探索設定篩選條件，然後單擊添加到查詢方塊。
單擊執行查詢查看對應的指標折線圖。

藉助PromQL組合，查詢更加豐富的指標。

例如查詢當前所有服務的QPS之和：

輸入sum(AliyunLearn_eas_qps_total)。（PromQL文法詳情參見時序資料查詢和分析文法）
單擊執行查詢，便會展示目前範圍所有EAS服務的QPS之和的變化趨勢。

步驟四：使用Grafana可視化大盤

查看預設Grafana大盤

CloudMonitor2.0提供了預設的Grafana大盤，您可以按照以下操作步驟查看大盤詳情。

在Prometheus服務詳情頁左側導覽列，單擊大盤列表。
單擊大盤名稱，查看內建的Grafana大盤。

說明

您也可以在接入管理的策略下直接切換到大盤頁簽查看。

添加面板

下文為預設的Grafana大盤增加一個全域QPS面板。關於Grafana的更多介紹請參見可觀測可視化 Grafana 版。

在大盤詳情頁面單擊右上方的Add panel按鈕，然後在新增的Add panel面板中，單擊Add a new panel。
在Edit Panel頁面右側，將圖表類型切換為Stat。
在頁面左下角，將Data source切換為${datasource}。
在Query地區，右側切換為code，然後在Metrics browser文字框中輸入PromQL查詢語句sum(AliyunLearn_eas_eas_qps_total) 後，單擊Run queries。
通過調整threshold，為不同的閾值配置不同的展示顏色。配置完成後，頁面會預覽圖表效果，通過單擊Apply按鈕儲存設定。

步驟五：配置監控警示

在Prometheus服務的執行個體詳情頁面，可以查看預置的警示規則，預置警示規則均為P2層級，初始狀態均為已停止。

在Prometheus服務詳情頁左側導覽列，單擊警示規則。
在警示規則頁面，查看預置的警示規則。如需啟用，修改啟停狀態；如需修改通知配置，單擊編輯。

如果上述預設範本無法滿足您的需求，您可以單擊建立警示規則，配置自訂警示規則。具體參數配置，詳見警示規則。

附錄：EAS進階監控指標

說明

以下指標僅在步驟一中開啟進階監控指標時才會顯示。

服務執行個體維度指標

指標	指標含義	指標標籤（維度）	指標分類	指標類型	單位	指標周期（單位s）
instance_cpu_count	服務執行個體CPU數量	instance,resource_type	CPU	Gauge	count	60
instance_gpu_count	服務執行個體GPU數量	instance,resource_type	GPU	Gauge	count	60
instance_cpu_usage	服務執行個體CPU使用量	instance	CPU	Gauge	core	60
instance_user_cpu_usage	服務執行個體使用者進程CPU使用量	instance	CPU	Gauge	core	60
instance_system_cpu_usage	服務執行個體系統進程CPU使用量	instance	CPU	Gauge	core	60
instance_cpu_util	服務執行個體CPU使用率	instance	CPU	Gauge	%	60
instance_memory_rss_usage	服務執行個體記憶體使用量量	instance	Memory	Gauge	byte	60
instance_memory_cache_usage	服務執行個體記憶體緩衝使用量	instance	Memory	Gauge	byte	60
instance_memory_total	服務執行個體記憶體總量	instance	Memory	Gauge	byte	60
instance_memory_util	服務執行個體記憶體使用量率	instance	Memory	Gauge	%	60
instance_response	服務執行個體請求數	instance	Request	Counter	count	60
instance_gpu_util	服務執行個體GPU使用率	instance	GPU	Gauge	%	60
instance_gpu_memory_usage	服務執行個體顯存使用量	instance	GPU	Gauge	MiB	60
instance_gpu_memory_total	服務執行個體顯存總量	instance	GPU	Gauge	MiB	60
instance_gpu_memory_util	服務執行個體顯存使用率	instance	GPU	Gauge	MiB	60
instance_gpu_memory_bandwidth_limit	服務執行個體GPU顯存頻寬節流設定	instance	GPU	Gauge	bytes/second	60
instance_gpu_temperature	服務執行個體GPU溫度	instance	GPU	Gauge	°C	60
instance_gpu_slow_temperature	服務執行個體GPU降頻溫度	instance	GPU	Gauge	°C	60
instance_gpu_shut_temperature	服務執行個體GPU關機溫度	instance	GPU	Gauge	°C	60
instance_gpu_nvswitch_error	服務執行個體NVSwitch致命錯誤資訊	instance	GPU	Gauge	count	60s
instance_gpu_nvswitch_non_fatal_error	服務執行個體NVSwitch非致命錯誤資訊	instance	GPU	Gauge	count	60
instance_gpu_ecc_total_vol_sbe	服務執行個體單位元易失性ECC錯誤總數	instance	GPU	Counter	count	60
instance_gpu_ecc_total_vol_dbe	服務執行個體雙位元易失性ECC錯誤總數	instance	GPU	Counter	count	60
instance_gpu_ecc_total_agg_sbe	服務執行個體單位元彙總（持久性）ECC錯誤總數	instance	GPU	Counter	count	60
instance_gpu_ecc_total_agg_dbe	服務執行個體雙位元彙總（持久性）ECC錯誤總數	instance	GPU	Counter	count	60
instance_gpu_remap_fail	服務執行個體行重新對應失敗次數	instance	GPU	Gauge	count	60
instance_gpu_remap_pending	服務執行個體行重新對應待處理次數	instance	GPU	Gauge	count	60
instance_gpu_pcie_replay_counter	服務執行個體PCIe重傳計數器	instance	GPU	Gauge	count	60
instance_gpu_pcie_transmit_measure_by_dcgm	服務執行個體通過DCGM測量的PCIe傳輸速率	instance	GPU	Gauge	bytes/second	60
instance_gpu_pcie_receive_measure_by_dcgm	服務執行個體通過DCGM測量的PCIe接收速率	instance	GPU	Gauge	bytes/second	60
instance_gpu_graphics_engine_util	服務執行個體圖形引擎利用率	instance	GPU	Gauge	ratio (0~1)	60
instance_gpu_sm_util	服務執行個體SM（流式多處理器）利用率	instance	GPU	Gauge	ratio (0~1)	60
instance_gpu_dram_active	服務執行個體裝置記憶體介面活躍發送或接收資料的比率	instance	GPU	Gauge	ratio (0~1)	60
instance_gpu_tensortflops_used	服務執行個體Tensor管道使用的Tflops	instance	GPU	Gauge	count	60
instance_gpu_memory_bandwidth_used	服務執行個體記憶體頻寬使用量	instance	GPU	Gauge	bytes/second	60
instance_gpu_sm_clock	服務執行個體SM時鐘頻率	instance	GPU	Gauge	MHz	60
instance_gpu_sm_occupancy	服務執行個體SM上駐留的Warp數量比例	instance	GPU	Gauge	ratio (0~1)	60
instance_gpu_fp32tflops_used	服務執行個體FP32管道使用的Tflops	instance	GPU	Gauge	count	60
instance_gpu_fp16tflops_used	服務執行個體FP16管道使用的Tflops	instance	GPU	Gauge	count	60
instance_gpu_pipe_fp32_active	服務執行個體FP32管道活躍周期比例	instance	GPU	Gauge	ratio (0~1)	60
instance_gpu_pipe_fp16_active	服務執行個體FP16管道活躍周期比例	instance	GPU	Gauge	ratio (0~1)	60s
instance_gpu_pipe_tensor_active	服務執行個體Tensor管道活躍周期比例	instance	GPU	Gauge	ratio (0~1)	60
instance_gpu_power_usage	服務執行個體GPU功耗	instance	GPU	Gauge	watts	60
instance_accelerator_power_usage	服務執行個體加速器功耗	instance	GPU	Gauge	milliwatts	60
instance_gpu_mem_copy_util	服務執行個體記憶體複製利用率	instance	GPU	Gauge	%	60
instance_gpu_health_count	服務執行個體GPU健康狀態計數的總和	instance	GPU	Gauge	count	60
instance_gpu_lost_card_num	服務執行個體VM中丟失顯卡數量	instance	GPU	Gauge	count	60
instance_gpu_driver_hang	服務執行個體驅動掛起次數	instance	GPU	Gauge	count	60
instance_gpu_profile_status	服務執行個體Amperf效能分析狀態	instance	GPU	Gauge	count	60
instance_gpu_uncorrectable_ecc	服務執行個體無法糾正的ECC錯誤數量	instance	GPU	Gauge	count	60
instance_gpu_xid_cnt	服務執行個體Xid錯誤數	instance	GPU	Gauge	count	60
instance_gpu_fatal_xid_error	服務執行個體致命Xid錯誤數	instance	GPU	Gauge	count	60
instance_gpu_kernel_err_cnt	服務執行個體來自核心日誌的非Xid錯誤數	instance	GPU	Gauge	count	60
instance_qps	服務執行個體每秒請求數	instance	Request	Gauge	count	60
instance_traffic	服務執行個體流量	instance	Request	Gauge	bps	60
instance_avg_latency	服務執行個體平均請求回應時間	instance	Request	Gauge	ms	60
instance_tpxx_latency	服務執行個體TOPXX請求回應時間	instance	Request	Gauge	ms	60
instance_traffic_in	服務執行個體入流量	instance	Request	Gauge	bps	60
instance_traffic_out	服務執行個體出流量	instance	Request	Gauge	bps	60
instance_tcp_connections	服務執行個體TCP串連數	instance	Request	Gauge	count	60

服務維度指標

指標	指標含義	指標標籤（維度）	指標分類	指標類型	單位	指標周期（單位s）
service_replicas	服務執行個體數	service	Meta	Gauge	count	60
service_pending_replicas	待執行的服務執行個體數	service	Meta	Gauge	count	60
service_available_replicas	運行中的服務執行個體數	service	Meta	Gauge	count	60
service_replicas_with_resource_type	服務執行個體數（帶有資源類型標籤）	service	Meta	Gauge	count	60
service_cpu_count	服務佔用CPU總數	service	CPU	Gauge	core	60
service_cpu_count_with_resource_type	服務CPU總數（帶有資源類型標籤）	service	CPU	Gauge	core	60
service_gpu_count_with_resource_type	服務GPU總數（帶有資源類型標籤）	service	GPU	Gauge	count	60
service_rps_status_2xx	服務2XX響應請求數	service	Request	Gauge	count	60
service_rps_status_4xx	服務4XX響應請求數	service	Request	Gauge	count	60
service_rps_status_5xx	服務5XX響應請求數	service	Request	Gauge	count	60
service_rps_status_2xx_ratio	服務2XX響應請求數佔比	service	Request	Gauge	%	60
service_rps_status_4xx_ratio	服務4XX響應請求數佔比	service	Request	Gauge	%	60
service_rps_status_5xx_ratio	服務5XX響應請求數佔比	service	Request	Gauge	%	60
service_qps	服務每秒請求數	service	Request	Gauge	count	60
service_avg_latency	服務平均請求回應時間	service	Request	Gauge	ms	60
service_tpxx_latency	服務TOPXX請求回應時間	service	Request	Gauge	ms	60
service_tp100_latency	服務TOP100請求回應時間	service	Request	Gauge	ms	60
service_traffic_in	服務入流量	service	Network	Gauge	bps	60
service_traffic_out	服務出流量	service	Network	Gauge		60
service_cpu_usage	服務CPU使用量	service	CPU	Gauge	core	60
service_user_cpu_usage	服務使用者進程CPU使用量	service	CPU	Gauge	core	60
service_system_cpu_usage	服務系統進程CPU使用量	service	CPU	Gauge	core	60
service_cpu_util	服務CPU使用率	service	CPU	Gauge	%	60
service_memory_rss_usage	服務記憶體使用量量	service	Memory	Gauge	byte	60
service_memory_cache_usage	服務記憶體緩衝使用量	service	Memory	Gauge	byte	60
service_memory_total	服務記憶體總量	service	Memory	Gauge	byte	60
service_memory_util	服務記憶體使用量率	service	Memory	Gauge	%	60
service_gpu_util	服務GPU使用率	service	GPU	Gauge	%	60
service_gpu_memory_usage	服務顯存使用量	service	GPU	Gauge	MiB	60
service_gpu_memory_total	服務顯存總量	service	GPU	Gauge	MiB	60
service_gpu_memory_util	服務顯存使用率	service	GPU	Gauge	MiB	60
service_gpu_memory_bandwidth_limit	服務GPU顯存頻寬節流設定	service	GPU	Gauge	bytes/second	60
service_gpu_temperature	服務GPU溫度	service	GPU	Gauge	°C	60
service_gpu_slow_temperature	服務GPU降頻溫度	service	GPU	Gauge	°C	60
service_gpu_shut_temperature	服務GPU關機溫度	service	GPU	Gauge	°C	60
service_gpu_nvswitch_error	服務NVSwitch致命錯誤資訊	service	GPU	Gauge	count	60
service_gpu_nvswitch_non_fatal_error	服務NVSwitch非致命錯誤資訊	service	GPU	Gauge	count	60
service_gpu_ecc_total_vol_sbe	服務單位元易失性ECC錯誤總數	service	GPU	Counter	count	60
service_gpu_ecc_total_vol_dbe	服務雙位元易失性ECC錯誤總數	service	GPU	Counter	count	60
service_gpu_ecc_total_agg_sbe	服務單位元彙總（持久性）ECC錯誤總數	service	GPU	Counter	count	60
service_gpu_ecc_total_agg_dbe	服務雙位元彙總（持久性）ECC錯誤總數	service	GPU	Counter	count	60
service_gpu_remap_fail	服務行重新對應失敗次數	service	GPU	Gauge	count	60
service_gpu_remap_pending	服務行重新對應待處理次數	service	GPU	Gauge	count	60
service_gpu_pcie_replay_counter	服務PCIe重傳計數器	service	GPU	Gauge	count	60
service_gpu_pcie_transmit_measure_by_dcgm	服務通過DCGM測量的PCIe傳輸速率	service	GPU	Gauge	bytes/second	60
service_gpu_pcie_receive_measure_by_dcgm	服務通過DCGM測量的PCIe接收速率	service	GPU	Gauge	bytes/second	60
service_gpu_graphics_engine_util	服務圖形引擎利用率	service	GPU	Gauge	ratio (0~1)	60
service_gpu_sm_util	服務SM（流式多處理器）利用率	service	GPU	Gauge	ratio (0~1)	60
service_gpu_dram_active	服務裝置記憶體介面活躍發送或接收資料的比率	service	GPU	Gauge	ratio (0~1)	60
service_gpu_tensortflops_used	服務Tensor管道使用的Tflops	service	GPU	Gauge	count	60
service_gpu_memory_bandwidth_used	服務記憶體頻寬使用量	service	GPU	Gauge	bytes/second	60
service_gpu_sm_clock	服務SM時鐘頻率	service	GPU	Gauge	MHz	60
service_gpu_sm_occupancy	服務SM上駐留的Warp線程數量比例	service	GPU	Gauge	ratio (0~1)	60
service_gpu_fp32tflops_used	服務FP32管道使用的Tflops	service	GPU	Gauge	count	60
service_gpu_fp16tflops_used	服務FP16管道使用的Tflops	service	GPU	Gauge	count	60
service_gpu_pipe_fp32_active	服務FP32管道活躍周期比例	service	GPU	Gauge	ratio (0~1)	60
service_gpu_pipe_fp16_active	服務FP16管道活躍周期比例	service	GPU	Gauge	ratio (0~1)	60
service_gpu_pipe_tensor_active	服務Tensor管道活躍周期比例	service	GPU	Gauge	ratio (0~1)	60
service_gpu_power_usage	服務GPU功耗	service	GPU	Gauge	watts	60
service_accelerator_power_usage	服務加速器功耗	service	GPU	Gauge	milliwatts	60
service_gpu_mem_copy_util	服務記憶體複製利用率	service	GPU	Gauge	%	60
service_gpu_health_count	服務GPU健康狀態計數的總和	service	GPU	Gauge	count	60
service_gpu_lost_card_num	服務VM中丟失顯卡數量	service	GPU	Gauge	count	60
service_gpu_driver_hang	服務驅動掛起次數	service	GPU	Gauge	count	60
service_gpu_profile_status	服務Amperf效能分析狀態	service	GPU	Gauge	count	60
service_gpu_uncorrectable_ecc	服務無法糾正的ECC錯誤數量	service	GPU	Gauge	count	60
service_gpu_xid_cnt	服務Xid錯誤數	service	GPU	Gauge	count	60
service_gpu_fatal_xid_error	服務致命Xid錯誤數	service	GPU	Gauge	count	60
service_gpu_kernel_err_cnt	服務來自核心日誌的非Xid錯誤數	service	GPU	Gauge	count	60
service_tcp_connections	服務TCP串連數	service	Network	Gauge	count	60
service_gateway_requests	llm-gateway：gateway當前接受到的請求數	service	Request	Gauge	count	60
service_gateway_pending_requests	llm-gateway：當前緩衝在gateway中的請求數	service	Request	Gauge	count	60
service_llm_ttft_max	llm-gateway: llm流式請求的首包延時的最大值	service	Request	Gauge	time	60
service_llm_ttft_min	llm-gateway: llm流式請求的首包延時的最小值	service	Request	Gauge	time	60
service_llm_ttft_mean	llm-gateway: llm流式請求的首包延時的平均值	service	Request	Gauge	time	60
service_llm_ttft_percent	llm-gateway: llm流式請求的首包延時的分位值	service	Request	Gauge	time	60
service_llm_tpot_max	llm-gateway: llm流式請求的每包延時的最大值	service	Request	Gauge	time	60
service_llm_tpot_min	llm-gateway: llm流式請求的每包延時的最小值	service	Request	Gauge	time	60
service_llm_tpot_mean	llm-gateway: llm流式請求的每包延時的平均值	service	Request	Gauge	time	60
service_llm_tpot_percent	llm-gateway: llm流式請求的每包延時的分位值	service	Request	Gauge	time	60
service_endpoint_llm_waiting_requests	llm-gateway: llm推理引擎內部正在排隊等待的請求數	service	Request	Gauge	count	60
service_endpoint_llm_running_requests	llm-gateway: llm推理引擎內部正在運行處理的請求數	service	Request	Gauge	count	60
service_endpoint_llm_gpu_cache_usage	llm-gateway: llm推理引擎gpu kv-cache的使用率	service	Request	Gauge	count	60
service_endpoint_llm_tps_in	llm-gateway: llm引擎每秒的輸入的token數	service	Request	Gauge	count	60
service_endpoint_llm_tps_out	llm-gateway: llm引擎每秒輸出的token數	service	Request	Gauge	count	60

資源群組指標

指標	指標含義	指標標籤（維度）	指標分類	指標類型	單位	指標周期（單位s）
resource_instance_cpu_util	資源群組執行個體CPU使用率	instance_id	Resource Instance	Gauge	%	60
resource_instance_memory_total	資源群組執行個體記憶體總量	instance_id	Resource Instance	Gauge	byte	60
resource_instance_memory_used	資源群組執行個體記憶體使用量量	instance_id	Resource Instance	Gauge	byte	60
resource_instance_memory_util	資源群組執行個體記憶體使用量率	instance_id	Resource Instance	Gauge	%	60
resource_instance_memory_cache	資源群組執行個體記憶體緩衝使用量	instance_id	Resource Instance	Gauge	byte	60
resource_instance_memory_free	資源群組執行個體記憶體空餘量	instance_id	Resource Instance	Gauge	byte	60
resource_instance_traffic_in	資源群組執行個體入流量	instance_id	Resource Instance	Gauge	bytes/second	60
resource_instance_traffic_out	資源群組執行個體出流量	instance_id	Resource Instance	Gauge	bytes/second	60
resource_instance_disk_used	資源群組執行個體硬碟使用量	instance_id	Resource Instance	Gauge	byte	60
resource_instance_disk_total	資源群組執行個體硬碟總量	instance_id	Resource Instance	Gauge	byte	60
resource_instance_disk_util	資源群組執行個體硬碟使用率	instance_id	Resource Instance	Gauge	byte	60
resource_instance_tcp_established	資源群組執行個體TCP穩定連結數	instance_id	Resource Instance	Gauge	count	60
resource_instance_tcp_time_wait	資源群組執行個體TCP等待連結數	instance_id	Resource Instance	Gauge	count	60
resource_instance_gpu_util	資源群組執行個體GPU使用率	instance_id	Resource Instance	Gauge	%	60
resource_instance_gpu_memory_usage	資源群組執行個體顯存使用量	instance_id	Resource Instance	Gauge	MiB	60
resource_instance_gpu_memory_total	資源群組執行個體顯存總量	instance_id	Resource Instance	Gauge	MiB	60
resource_instance_gpu_memory_util	資源群組執行個體顯存使用率	instance_id	Resource Instance	Gauge	%	60
resource_cpu_util	資源群組CPU使用率	resource	Resource	Gauge	%	60
resource_memory_total	資源群組記憶體總量	resource	Resource	Gauge	byte	60
resource_memory_used	資源群組記憶體使用量量	resource	Resource	Gauge	byte	60
resource_memory_util	資源群組記憶體使用量率	resource	Resource	Gauge	%	60
resource_memory_cache	資源群組記憶體緩衝使用量	resource	Resource	Gauge	byte	60
resource_memory_free	資源群組記憶體空餘量	resource	Resource	Gauge	byte	60
resource_traffic_in	資源群組入流量	resource	Resource	Gauge	bytes/second	60
resource_traffic_out	資源群組出流量	resource	Resource	Gauge	bytes/second	60
resource_disk_used	資源群組硬碟使用量	resource	Resource	Gauge	byte	60
resource_disk_total	資源群組硬碟總量	resource	Resource	Gauge	byte	60
resource_disk_util	資源群組硬碟使用率	resource	Resource	Gauge	byte	60
resource_tcp_established	資源群組TCP穩定連結數	resource	Resource	Gauge	count	60
resource_tcp_time_wait	資源群組TCP等待連結數	resource	Resource	Gauge	count	60
resource_gpu_util	資源群組GPU使用率	resource	Resource	Gauge	%	60
resource_gpu_memory_usage	資源群組顯存使用量	resource	Resource	Gauge	MiB	60
resource_gpu_memory_total	資源群組顯存總量	resource	Resource	Gauge	MiB	60
resource_gpu_memory_util	資源群組顯存使用率	resource	Resource	Gauge	%	60