Métricas de monitoreo de pods GPU de ACS - Container Compute Service

El monitoreo de GPU utiliza una arquitectura Exporter + Prometheus + Grafana para ofrecer observability integral de las GPU. Use las métricas del GPU Exporter for Container Service para construir paneles en Grafana y configurar alertas. En este tema se describen las métricas de monitoreo de GPU.

Facturación

El GPU Exporter es compatible con el proyecto de código abierto DCGM Exporter. A continuación se presentan las métricas básicas de monitoreo de GPU; su uso en Prometheus no genera cargos adicionales. Las métricas personalizadas que no estén en esta lista sí generan costos extra. Para más detalles, consulte Descripción general de facturación.

Métricas

Métricas de DCGM

Filtre las métricas de DCGM mediante a continuación dimensiones:

namespace="{{pod_namespace}}"
pod="{{pod_name}}"
Hostname="{{pod_name}}"
NodeName="cn-wulanchabu-c.cr-xxx" (solo pods GPU-HPN)
UUID="GPU-example-uuid-abcd"
device="nvidia0"
gpu="0"
modelName="example-model"

Métricas de recursos de GPU

Métrica	Nombre de campo de DCGM	Tipo	Unidad	Descripción
Utilización de GPU	DCGM_FI_DEV_GPU_UTIL	Gauge	%	Porcentaje de tiempo durante el cual una o más funciones del kernel están activas dentro de un periodo de muestreo. Este periodo es de 1 segundo o 1/6 de segundo, según el producto de GPU. La métrica indica que un kernel se está ejecutando en la GPU, pero no detalla qué hace dicho kernel. Para un análisis más profundo, use las métricas de perfilado.
Búfer de fotogramas utilizado	DCGM_FI_DEV_FB_USED	Gauge	MiB	Cantidad de búfer de fotogramas (memoria de video) utilizada.
Búfer de fotogramas total	DCGM_FI_DEV_FB_TOTAL	Gauge	MiB	Capacidad total del búfer de fotogramas (memoria de video).
Utilización del codificador	DCGM_FI_DEV_ENC_UTIL	Gauge	%	Porcentaje de tiempo en el que el motor de codificación por hardware está activo.
Utilización del decodificador	DCGM_FI_DEV_DEC_UTIL	Gauge	%	Porcentaje de tiempo en el que el motor de decodificación por hardware está activo.
Utilización del ancho de banda de memoria	DCGM_FI_DEV_MEM_COPY_UTIL	Gauge	%	Porcentaje del ancho de banda máximo de memoria que se está utilizando. Por ejemplo, una NVIDIA V100 tiene un ancho de banda máximo de 900 GB/s. Si el ancho de banda actual es de 450 GB/s, esta métrica reporta 50%.

Métricas de perfilado

Métrica	Nombre de campo de DCGM	Tipo	Unidad	Descripción
Actividad de SM	DCGM_FI_PROF_SM_ACTIVE	Gauge	%	Fracción de tiempo en la que como mínimo un warp está activo en un Streaming Multiprocessor (SM), promediada entre todos los SM. Un warp se considera activo desde que se programa y se asignan sus recursos, ya sea que esté ejecutando instrucciones o esperando memoria. Los valores inferiores a 0.5 indican un uso ineficiente de la GPU, mientras que se requieren valores superiores a 0.8 para lograr alta eficiencia. Por ejemplo, con N SM: ejecutar N bloques de hilos durante todo el intervalo da 1.0; ejecutar N/5 bloques de hilos, o N bloques durante 1/5 del intervalo, da 0.2.
Ocupación de SM	DCGM_FI_PROF_SM_OCCUPANCY	Gauge	%	Proporción entre los warps residentes en un SM y el número máximo de warps que admite ese SM, promediada entre todos los SM. Una mayor ocupación no siempre implica una mayor utilización de la GPU. En cargas de trabajo limitadas por el ancho de banda de memoria de la GPU (DCGM_FI_PROF_DRAM_ACTIVE), una mayor ocupación indica un uso más efectivo de la GPU.
DRAM activa	DCGM_FI_PROF_DRAM_ACTIVE	Gauge	%	Fracción de ciclos en los que la memoria del dispositivo (DRAM) envía o recibe datos, promediada durante el intervalo. Un valor de 1.0 (100%) significa que se ejecuta una instrucción de DRAM en cada ciclo; en la práctica, el máximo alcanzable es de aproximadamente 0.8 (80%). Un valor de 0.2 significa que el 20% de los ciclos se dedicó a lecturas o escrituras en la memoria del dispositivo.
Rendimiento de recepción de NVLink	DCGM_FI_PROF_NVLINK_RX_BYTES	Counter	B/s	Tasa promedio de datos recibidos a través de NVLink, sin incluir encabezados de protocolo. Se promedia durante el intervalo; por ejemplo, si se transfieren 1 GB en 1 segundo, se reporta 1 GB/s independientemente de los patrones de ráfaga. El máximo teórico para NVLink Gen2 es de 25 GB/s por enlace y por dirección.
Rendimiento de transmisión de NVLink	DCGM_FI_PROF_NVLINK_TX_BYTES	Counter	B/s	Tasa promedio de datos transmitidos a través de NVLink, sin incluir encabezados de protocolo. Se promedia durante el intervalo. El máximo teórico para NVLink Gen2 es de 25 GB/s por enlace y por dirección.
Rendimiento de recepción de PCIe	DCGM_FI_PROF_PCIE_RX_BYTES	Counter	B/s	Tasa promedio de datos recibidos a través del bus PCIe, incluidos los encabezados de protocolo y la carga útil. Se promedia durante el intervalo. El máximo teórico para PCIe Gen3 es de 985 MB/s por canal.
Rendimiento de transmisión de PCIe	DCGM_FI_PROF_PCIE_TX_BYTES	Counter	B/s	Tasa promedio de datos transmitidos a través del bus PCIe, incluidos los encabezados de protocolo y la carga útil. Se promedia durante el intervalo. El máximo teórico para PCIe Gen3 es de 985 MB/s por canal.
Actividad de Tensor Core	DCGM_FI_PROF_PIPE_TENSOR_ACTIVE	Gauge	%	Fracción de ciclos en los que la tubería Tensor (HMMA/IMMA) está activa, promediada durante el intervalo. Un valor de 1.0 significa que se emite una instrucción Tensor cada dos ciclos de instrucción (cada instrucción toma dos ciclos). Un valor de 0.2 puede reflejar distintas distribuciones: 20% de los SM ejecutando Tensor Cores al 100% durante todo el intervalo, 100% de los SM funcionando al 20% de utilización, 100% de los SM funcionando al 100% durante 1/5 del intervalo u otras combinaciones.

Frecuencia

Métrica	Nombre de campo de DCGM	Tipo	Unidad	Descripción
Frecuencia de reloj de SM	DCGM_FI_DEV_SM_CLOCK	Gauge	MHz	Frecuencia de reloj actual del SM.

Excepciones de GPU y errores XID

Métrica	Nombre de campo de DCGM	Tipo	Unidad	Descripción
Error fatal de NVSwitch	DCGM_FI_DEV_NVSWITCH_FATAL_ERRORS	Gauge	Código de error	Información sobre errores fatales de NVSwitch. El valor corresponde al código de error SXid.
Falla de reasignación de filas	DCGM_FI_DEV_ROW_REMAP_FAILURE	Gauge	—	Indica que ocurrió un error de reasignación de filas.
Reasignación de filas pendiente	DCGM_FI_DEV_ROW_REMAP_PENDING	Gauge	—	Indica que hay una reasignación de filas pendiente.

Temperatura y consumo eléctrico

Métrica	Nombre de campo de DCGM	Tipo	Unidad	Descripción
Temperatura de la GPU	DCGM_FI_DEV_GPU_TEMP	Gauge	℃	Temperatura de la GPU.
Temperatura de la memoria	DCGM_FI_DEV_MEMORY_TEMP	Gauge	℃	Temperatura de la memoria.
Consumo eléctrico	DCGM_FI_DEV_POWER_USAGE	Gauge	W	Consumo eléctrico actual.

Páginas retiradas

Métrica	Nombre de campo de DCGM	Tipo	Unidad	Descripción
Páginas retiradas (SBE)	DCGM_FI_DEV_RETIRED_SBE	Gauge	—	Número de páginas retiradas debido a errores de un solo bit (SBE).
Páginas retiradas (DBE)	DCGM_FI_DEV_RETIRED_DBE	Gauge	—	Número de páginas retiradas debido a errores de doble bit (DBE).

Métricas de RDMA

Filtre las métricas de RDMA mediante a continuación dimensiones:

app="nusa-exporter"
hostname="{{pod_name}}"
ip="172.16.17.114"
namespace="{{pod_namespace}}"
node="{{virtual-kubelet-nodename}}"
pod="{{pod_name}}"

Métrica	Tipo	Unidad	Descripción
rdma_service_monitor_tx_bytes_rate	Gauge	bytes	Tráfico saliente instantáneo en la red RDMA del pod.
rdma_service_monitor_rx_bytes_rate	Gauge	bytes	Tráfico entrante instantáneo en la red RDMA del pod.
rdma_service_monitor_tx_bytes	Counter	bytes	Tráfico saliente acumulado en la red RDMA del pod.
rdma_service_monitor_rx_bytes	Counter	bytes	Tráfico entrante acumulado en la red RDMA del pod.
rdma_service_monitor_tx_packets_rate	Gauge	packets	Tasa instantánea de paquetes salientes en la red RDMA del pod.
rdma_service_monitor_rx_packets_rate	Gauge	packets	Tasa instantánea de paquetes entrantes en la red RDMA del pod.
rdma_service_monitor_tx_packets	Counter	packets	Número acumulado de paquetes salientes en la red RDMA del pod.
rdma_service_monitor_rx_packets	Counter	packets	Número acumulado de paquetes entrantes en la red RDMA del pod.