Metrics supported by GPU monitoring 2.0 - Container Service for Kubernetes

GPU Monitoring 2.0 utiliza una combinación de GPU exporter, Prometheus y Grafana para proporcionar observability de GPU en sus clústeres de Container Service for Kubernetes (ACK). El GPU exporter es compatible con las métricas de DCGM exporter y también ofrece métricas personalizadas para escenarios de uso compartido de GPU.

Las métricas disponibles se organizan en tres categorías: DCGM exporter metrics, custom metrics y deprecated metrics.

Facturación

Las métricas personalizadas generan cargos. Las tarifas varían según el tamaño del clúster y la cantidad de aplicaciones. Antes de habilitar las métricas personalizadas, consulte Billing overview para comprender el modelo de precios. Para supervisar su consumo, consulte Usage query.

Métricas compatibles con DCGM exporter

El GPU exporter es compatible con las métricas de DCGM exporter. Para obtener más información sobre DCGM exporter original, consulte DCGM exporter.

Métricas de utilización

Metric	Type	Unit	Description
`DCGM_FI_DEV_GPU_UTIL`	Gauge	%	Utilización de la GPU muestreada durante un ciclo de 1 segundo o 1/6 de segundo, según el modelo de GPU. Un ciclo es el periodo en el que una o más funciones de kernel permanecen activas. Esta métrica indica si la GPU está ocupada, no la intensidad de su uso.
`DCGM_FI_DEV_MEM_COPY_UTIL`	Gauge	%	Utilización del ancho de banda de memoria. Por ejemplo, la GPU V100 tiene un ancho de banda de memoria máximo de 900 GB/s. Si el uso actual es de 450 GB/s, esta métrica reporta 50%.
`DCGM_FI_DEV_ENC_UTIL`	Gauge	%	Utilización del codificador.
`DCGM_FI_DEV_DEC_UTIL`	Gauge	%	Utilización del decodificador.

Métricas de memoria

Metric	Type	Unit	Description
`DCGM_FI_DEV_FB_FREE`	Gauge	MiB	Memoria de framebuffer libre (memoria de la GPU).
`DCGM_FI_DEV_FB_USED`	Gauge	MiB	Memoria de framebuffer utilizada. Coincide con el valor `Memory-Usage` que devuelve `nvidia-smi`.

Métricas de perfilado

Todos los valores son promedios por ciclo, no lecturas instantáneas.

Metric	Type	Unit	Description
`DCGM_FI_PROF_GR_ENGINE_ACTIVE`	Gauge	%	Proporción de ciclos en los que un motor gráfico o de cómputo está activo, promediada entre todos los motores. Un motor se considera activo cuando un contexto gráfico o de cómputo está vinculado al hilo y dicho contexto está ocupado.
`DCGM_FI_PROF_SM_ACTIVE`	Gauge	%	Proporción de ciclos en los que como mínimo un warp de un multiprocesador de streaming (SM) está activo, promediada entre todos los SM. Un warp se considera activo cuando se programa y se le asignan recursos, sin importar si está procesando o esperando (por ejemplo, esperando memoria). Si este valor cae por debajo de 0.5, la utilización de la GPU es baja. Busque un valor superior a 0.8 para aprovechar la GPU de forma eficaz.
`DCGM_FI_PROF_SM_OCCUPANCY`	Gauge	%	Proporción entre los warps residentes en un SM y el máximo de warps que el SM admite por ciclo, promediada entre todos los SM. Un valor más alto no necesariamente implica mayor utilización de la GPU; solo la indica cuando `DCGM_FI_PROF_DRAM_ACTIVE` muestra que el ancho de banda de memoria de la GPU es el cuello de botella.
`DCGM_FI_PROF_PIPE_TENSOR_ACTIVE`	Gauge	%	Proporción de ciclos en los que la tubería de tensor (HMMA/IMMA) está activa. Un valor más alto indica mayor utilización de los núcleos de tensor. Al 100%, las instrucciones de tensor se ejecutan en intervalos dentro del ciclo, y cada una tarda dos intervalos en completarse. Use `DCGM_FI_PROF_SM_ACTIVE` para determinar si la baja utilización se debe a menos SM activos o a periodos de actividad más cortos.
`DCGM_FI_PROF_PIPE_FP64_ACTIVE`	Gauge	%	Proporción de ciclos en los que la tubería FP64 (precisión doble) está activa. Los valores más altos indican mayor utilización de los núcleos FP64. En las GPU Volta al 100%, se ejecuta una instrucción FP64 cada cuatro ciclos dentro del intervalo. Use `DCGM_FI_PROF_SM_ACTIVE` para aclarar los escenarios de utilización parcial.
`DCGM_FI_PROF_PIPE_FP32_ACTIVE`	Gauge	%	Proporción de ciclos en los que la tubería FMA (multiplicación-acumulación fusionada) está activa. Las operaciones FMA incluyen operaciones FP32 (precisión simple) y de enteros. En las GPU Volta al 100%, se ejecuta una instrucción FP32 cada dos ciclos dentro del intervalo.
`DCGM_FI_PROF_PIPE_FP16_ACTIVE`	Gauge	%	Proporción de ciclos en los que la tubería FP16 (precisión media) está activa. En las GPU Volta al 100%, se ejecuta una instrucción FP16 cada dos ciclos dentro del intervalo.
`DCGM_FI_PROF_DRAM_ACTIVE`	Gauge	%	Proporción de ciclos en los que la interfaz de memoria del dispositivo está activa enviando o recibiendo datos. El valor máximo alcanzable es aproximadamente 0.8 (80%), no 1.0 (100%). Use esta métrica junto con `DCGM_FI_PROF_SM_OCCUPANCY` para determinar si una carga de trabajo está limitada por el ancho de banda de memoria.
`DCGM_FI_PROF_PCIE_TX_BYTES` / `DCGM_FI_PROF_PCIE_RX_BYTES`	Counter	B/s	Tasas de transmisión y recepción de PCIe (Peripheral Component Interconnect Express), que incluyen tanto encabezados de protocolo como cargas útiles de datos, promediadas durante un ciclo. El máximo teórico para PCIe Gen 3 es de 985 MB/s por carril.
`DCGM_FI_PROF_NVLINK_TX_BYTES` / `DCGM_FI_PROF_NVLINK_RX_BYTES`	Counter	B/s	Tasas de transmisión y recepción de NVLink, que incluyen tanto encabezados de protocolo como cargas útiles de datos, promediadas durante un ciclo. El máximo teórico para NVLink Gen 2 es de 25 GB/s por carril y dirección.

Métricas de reloj

Metric	Type	Unit	Description
`DCGM_FI_DEV_SM_CLOCK`	Gauge	MHz	Velocidad de reloj del SM.
`DCGM_FI_DEV_MEM_CLOCK`	Gauge	MHz	Velocidad de reloj de la memoria.
`DCGM_FI_DEV_APP_SM_CLOCK`	Gauge	MHz	Velocidad de reloj de aplicación del SM.
`DCGM_FI_DEV_APP_MEM_CLOCK`	Gauge	MHz	Velocidad de reloj de aplicación de la memoria.
`DCGM_FI_DEV_CLOCK_THROTTLE_REASONS`	Gauge	MHz	Motivo de la limitación de la velocidad de reloj.

Métricas de errores XID y de infracciones

Los errores XID son códigos de error del controlador de NVIDIA que se reportan cuando ocurren fallas de hardware o software. Las métricas de infracciones contabilizan el tiempo acumulado (en microsegundos) durante el cual se limitó el reloj de la GPU por cada causa.

Metric	Type	Unit	Description
`DCGM_FI_DEV_XID_ERRORS`	Gauge	-	Código de error XID más reciente ocurrido en un periodo de tiempo determinado.
`DCGM_FI_DEV_POWER_VIOLATION`	Counter	μs	Tiempo acumulado de limitación de reloj debido a límites de energía.
`DCGM_FI_DEV_THERMAL_VIOLATION`	Counter	μs	Tiempo acumulado de limitación de reloj debido a límites térmicos.
`DCGM_FI_DEV_SYNC_BOOST_VIOLATION`	Counter	μs	Tiempo acumulado de limitación de reloj debido a restricciones de sincronización de impulso.
`DCGM_FI_DEV_BOARD_LIMIT_VIOLATION`	Counter	μs	Tiempo acumulado de limitación de reloj debido a límites de la tarjeta.
`DCGM_FI_DEV_LOW_UTIL_VIOLATION`	Counter	μs	Tiempo acumulado de limitación de reloj debido a baja utilización.
`DCGM_FI_DEV_RELIABILITY_VIOLATION`	Counter	μs	Tiempo acumulado de limitación de reloj debido a restricciones de confiabilidad.

Métricas de BAR1

Metric	Type	Unit	Description
`DCGM_FI_DEV_BAR1_USED`	Gauge	MB	Memoria BAR1 utilizada.
`DCGM_FI_DEV_BAR1_FREE`	Gauge	MB	Memoria BAR1 libre.

Métricas de temperatura y energía

Metric	Type	Unit	Description
`DCGM_FI_DEV_MEMORY_TEMP`	Gauge	C	Temperatura de la memoria.
`DCGM_FI_DEV_GPU_TEMP`	Gauge	C	Temperatura de la GPU.
`DCGM_FI_DEV_POWER_USAGE`	Gauge	W	Consumo de energía actual.
`DCGM_FI_DEV_TOTAL_ENERGY_CONSUMPTION`	Counter	J	Energía total consumida desde la última recarga del controlador.

Métricas de páginas retiradas

Las páginas de memoria de la GPU se retiran cuando se detectan errores no corregibles. Un conteo en aumento indica que el estado de la memoria de la GPU se está deteriorando.

Metric	Type	Unit	Description
`DCGM_FI_DEV_RETIRED_SBE`	Gauge	-	Páginas retiradas debido a errores de un solo bit.
`DCGM_FI_DEV_RETIRED_DBE`	Gauge	-	Páginas retiradas debido a errores de doble bit.

Métricas personalizadas

El GPU exporter de ACK proporciona métricas personalizadas para escenarios de uso compartido de GPU. Estas métricas no forman parte de DCGM exporter original y generan cargos.

Métricas a nivel de proceso

Metric	Type	Unit	Description
`DCGM_CUSTOM_PROCESS_SM_UTIL`	Gauge	%	Utilización del SM por parte de los hilos de la GPU.
`DCGM_CUSTOM_PROCESS_MEM_COPY_UTIL`	Gauge	%	Utilización de copia de memoria por parte de los hilos de la GPU.
`DCGM_CUSTOM_PROCESS_ENCODE_UTIL`	Gauge	%	Utilización del codificador por parte de los hilos de la GPU.
`DCGM_CUSTOM_PROCESS_DECODE_UTIL`	Gauge	%	Utilización del decodificador por parte de los hilos de la GPU.
`DCGM_CUSTOM_PROCESS_MEM_USED`	Gauge	MiB	Memoria de la GPU utilizada por los hilos de la GPU.

Métricas a nivel de contenedor y nodo

Metric	Type	Unit	Description
`DCGM_CUSTOM_CONTAINER_MEM_ALLOCATED`	Gauge	MiB	Memoria de la GPU asignada a un contenedor.
`DCGM_CUSTOM_CONTAINER_CP_ALLOCATED`	Gauge	-	Proporción de cómputo de GPU asignada a un contenedor respecto al cómputo total de la GPU. Rango de valores: [0, 1]. Por ejemplo, si la GPU proporciona 100 unidades de cómputo y se asignan 30 a un contenedor, esta métrica reporta 0.3. En el modo de GPU exclusiva o compartida, este valor es 0 porque los contenedores en esos modos solo solicitan memoria de GPU, sin restricciones en la asignación de cómputo.
`DCGM_CUSTOM_DEV_FB_TOTAL`	Gauge	MiB	Memoria total de la GPU.
`DCGM_CUSTOM_DEV_FB_ALLOCATED`	Gauge	-	Proporción de memoria de GPU asignada respecto a la memoria total de la GPU. Rango de valores: [0, 1].
`DCGM_CUSTOM_ALLOCATE_MODE`	Gauge	-	Modo de programación del nodo. Valores: `0` = ningún pod acelerado por GPU en ejecución; `1` = modo de GPU exclusiva; `2` = modo de GPU compartida.

Métricas obsoletas

A continuación se muestran las métricas que se eliminaron de GPU Monitoring 2.0. Sustitúyalas por las métricas indicadas en la tabla.

Deprecated metric	Replacement	Notes
`nvidia_gpu_temperature_celsius`	`DCGM_FI_DEV_GPU_TEMP`
`nvidia_gpu_power_usage_milliwatts`	`DCGM_FI_DEV_POWER_USAGE`
`nvidia_gpu_sharing_memory`	`DCGM_CUSTOM_DEV_FB_ALLOCATED` x `DCGM_CUSTOM_DEV_FB_TOTAL`	Proporción de memoria de GPU x memoria total de GPU = memoria de GPU solicitada.
`nvidia_gpu_memory_used_bytes`	`DCGM_FI_DEV_FB_USED`
`nvidia_gpu_memory_total_bytes`	`DCGM_CUSTOM_DEV_FB_TOTAL`
`nvidia_gpu_memory_allocated_bytes`	`DCGM_CUSTOM_DEV_FB_ALLOCATED` x `DCGM_CUSTOM_DEV_FB_TOTAL`	Proporción de memoria de GPU x memoria total de GPU = memoria de GPU solicitada.
`nvidia_gpu_duty_cycle`	`DCGM_FI_DEV_GPU_UTIL`
`nvidia_gpu_allocated_num_devices`	`sum(DCGM_CUSTOM_DEV_FB_ALLOCATED)`	Suma de las proporciones de memoria de GPU en todas las GPU de un nodo = número total de GPU solicitadas en el nodo.
`nvidia_gpu_num_devices`	`DCGM_FI_DEV_COUNT`