Descripción general del panel de monitoreo - Container Service for Kubernetes

GPU Monitoring 2.0 utiliza la pila de Exporter, Prometheus y Grafana para admitir escenarios de monitoreo de GPU más completos. Este tema describe los paneles del dashboard de monitoreo.

Descripción general de los paneles

GPU Monitoring incluye tres dashboards: GPUs - Cluster Dimension, GPUs - Nodes y GPUs - Pods. Las siguientes secciones describen cada dashboard.

GPUs - Cluster Dimension

Nombre del panel	Descripción
Total GPU Nodes	Número total de nodos GPU en el clúster o node pool.
Allocated GPUs	Número total de GPU en el clúster o node pool y cuántas están asignadas.
Allocated GPU Memory	Porcentaje de la memoria GPU total que está asignada.
Used GPU Memory	Porcentaje de la memoria GPU total que se encuentra actualmente en uso.
Average GPU Utilization	Utilización promedio de GPU en todo el clúster o node pool.
GPU Memory Copy Utilization	Utilización promedio de copia de memoria en todo el clúster o node pool.
The Last One XID Error	Error XID más reciente en una tarjeta GPU del clúster.
GPU Node Details	Detalles de los nodos GPU del clúster, que incluyen: Node Name, GPU Index, GPU Utilization, GPU Memory Copy Utilization, Used GPU Memory, Allocated GPU Memory, Total GPU Memory, Power, GPU Temperature y GPU Memory Temperature.

GPUs - Nodes

Overview

Métricas de resumen para un solo nodo. Utilice estos paneles para evaluar el estado general de las GPU y el estado de asignación antes de consultar los gráficos detallados.

Nombre del panel	Descripción
GPU Mode	Modo de asignación de GPU en el nodo: Exclusive (recursos asignados por tarjeta GPU), Share (recursos asignados por memoria GPU y potencia de cómputo) o None (no se ejecutan aplicaciones GPU en el nodo; un nodo puede alternar entre los modos Exclusive y Share, pero si no se ejecuta ningún programa GPU, el sistema no puede detectar si el nodo usa el modo Exclusive o Share).
NVIDIA Driver Version	Versión del controlador NVIDIA instalado en el nodo.
Allocated GPUs	Cantidad de GPU asignadas en el nodo respecto al número total de GPU disponibles en dicho nodo.
GPU Utilization	Utilización promedio de GPU en todas las tarjetas GPU del nodo.
Allocated GPU Memory	Porcentaje de la memoria GPU total asignada en el nodo.
Used GPU Memory	Porcentaje de la memoria GPU total que se encuentra actualmente en uso en el nodo.
Allocated Computing Power (Valid in GPU Sharing)	Potencia de cómputo asignada. Aplica únicamente cuando la compartición de GPU está habilitada y se solicita programación de potencia de cómputo.
The Last One XID Error	Error XID más reciente en una tarjeta GPU del nodo.

Utilization

Gráficos de series temporales para la actividad de cómputo y de los motores de codificación/decodificación de la GPU. Utilice estos paneles para identificar si las cargas de trabajo están limitadas por el cómputo o por el codificador/decodificador.

Nombre del panel	Descripción
GPU Utilization	Utilización de la tarjeta GPU en el nodo.
GPU Memory Copy Utilization	Utilización de copia de memoria en la tarjeta GPU.
Encoder Engine Utilization	Utilización del motor de codificación en la tarjeta GPU.
Decoder Engine Utilization	Utilización del motor de decodificación en la tarjeta GPU.

Memory & BAR1

Detalles de uso de memoria y BAR1 para las tarjetas GPU del nodo. Utilice estos paneles para rastrear la presión de memoria e identificar las tarjetas que se acercan a su límite de memoria.

Nombre del panel	Descripción
GPU Memory Details	Desglose de memoria GPU por tarjeta, que incluye: UUID, GPU Index, Mode Name (modelo de tarjeta), Used Percentage, Used (cantidad de memoria GPU en uso), Allocated (porcentaje de la memoria GPU total asignada) y Total (memoria GPU total en la tarjeta).
BAR1 Used	Cantidad de memoria BAR1 en uso en las tarjetas GPU.
GPU Memory Used	Cantidad de memoria GPU en uso en las tarjetas GPU del nodo.
BAR1 Total	Memoria BAR1 total disponible en las tarjetas GPU.

GPU process

Actividad de GPU a nivel de proceso en el nodo. Utilice estos paneles para identificar qué pods y contenedores consumen recursos de GPU y para detectar usos no autorizados de GPU.

Nombre del panel	Descripción
GPU Process Details	Detalles de los procesos GPU en el nodo, que incluyen: Pod Namespace, Pod Name, Container Name, Allocate Mode (Exclusive o Share), Process ID, Process Name, Process Type (compute (C) o graphics (G)), GPU Index, Used Memory, Streaming Multiprocessor (SM) Utilization, Memory Copy Utilization, Decode Utilization y Encode Utilization.
Illegal GPU Process (GPU request not by k8s resources.limits) Details	Detalles de los procesos que acceden a recursos GPU sin utilizar los límites de recursos de Kubernetes. Esto incluye: ejecutar una aplicación GPU directamente en un nodo; ejecutar una aplicación GPU en un contenedor iniciado con el comando `docker run`; solicitar recursos GPU al establecer `NVIDIA_VISIBLE_DEVICES=all` o `NVIDIA_VISIBLE_DEVICES=<GPU ID>` directamente en la sección `env` de un Pod; configurar `privileged: true` en el `securityContext` de un Pod; o ejecutar un programa GPU en un Pod cuya imagen de contenedor tiene establecido `NVIDIA_VISIBLE_DEVICES=all` de forma predeterminada.

Profiling

Métricas de actividad de bajo nivel del pipeline de GPU recopiladas por DCGM. Utilice estos paneles para diagnosticar cargas de trabajo limitadas por memoria frente a las limitadas por cómputo, así como para identificar cuellos de botella en el pipeline.

Nombre del panel	Descripción
Graphics Engine Active	Porcentaje de tiempo durante un ciclo de monitoreo en el que el motor Graphics o Compute está activo.
DRAM Active	Utilización del ancho de banda de memoria.
SM Active	Porcentaje de tiempo que las unidades SM permanecen activas.
SM Occupancy	Tasa de ocupación de SM.
Tensor Core Engine Active	Porcentaje de tiempo durante un ciclo de monitoreo en el que el pipeline de Tensor Core está activo.
FP32 Engine Active	Porcentaje de tiempo durante un ciclo de monitoreo en el que el pipeline FP32 está activo.
FP16 Engine Active	Porcentaje de tiempo durante un ciclo de monitoreo en el que el pipeline FP16 está activo.
FP64 Engine Active	Porcentaje de tiempo durante un ciclo de monitoreo en el que el pipeline FP64 está activo.
PCIE TX Bytes (Device to Host)	Tasa de transferencia de datos a través del bus PCIe desde el dispositivo GPU hacia el host.
PCIE RX Bytes (Host to Device)	Tasa de transferencia de datos a través del bus PCIe desde el host hacia el dispositivo GPU.
NVLINK TX Bytes	Datos enviados a través de NVLink.
NVLINK RX Bytes	Datos recibidos a través de NVLink.

Temperature & Energy

Métricas térmicas y de energía. Monitoree estos paneles para detectar estrangulamiento térmico o un consumo de energía elevado sostenido.

Nombre del panel	Descripción
Power Usage	Consumo de energía de la tarjeta GPU.
Total Energy Consumption (in J)	Energía total consumida por la tarjeta GPU desde que se cargó el controlador. Unidad: julios.
Memory Temperature	Temperatura de la memoria GPU.
GPU Temperature	Temperatura de la GPU (unidad de cómputo).

Clock

Frecuencias de reloj y motivos de estrangulamiento. Una caída en la frecuencia de reloj bajo alta utilización suele indicar estrangulamiento térmico o de energía.

Nombre del panel	Descripción
SM CLOCK	Frecuencia de reloj de SM.
Memory Clock	Frecuencia de reloj de la memoria.
APP SM Clock	Frecuencia de reloj de aplicación de SM.
APP Memory Clock	Frecuencia de reloj de memoria de la aplicación.
Video Clock	Frecuencia de reloj del motor de video.
Clock Throttle Reasons	Motivos del estrangulamiento de reloj.

Retired pages

Páginas de memoria retiradas debido a errores de hardware. Cualquier valor distinto de cero justifica una investigación.

Nombre del panel	Descripción
Retired Pages (Single-bit Errors)	Número de páginas de memoria retiradas debido a errores de un solo bit.
Retired Pages (Double-bit Errors)	Número de páginas de memoria retiradas debido a errores de doble bit.

Violation

Tiempo transcurrido excediendo los límites de hardware, medido en microsegundos. Las violaciones sostenidas indican que el nodo opera fuera de su rango seguro.

Nombre del panel	Descripción
Power Violation	Tiempo transcurrido excediendo el límite de energía. Unidad: microsegundos.
Thermal Violation	Tiempo transcurrido excediendo el límite térmico. Unidad: microsegundos.
Sync Boost Violation	Tiempo transcurrido excediendo el límite de sync boost. Unidad: microsegundos.
Board Limit Violation	Tiempo transcurrido excediendo el límite de la placa. Unidad: microsegundos.
Board Reliability Violation	Tiempo transcurrido excediendo el límite de confiabilidad de la placa. Unidad: microsegundos.
Low Util Violation	Tiempo transcurrido excediendo el límite de baja utilización. Unidad: microsegundos.

GPUs - Pods

Overview

Nombre del panel	Descripción
GPU Pod Details	Detalles de los pods que solicitan recursos GPU, que incluyen: Pod Namespace, Pod Name, Node Name, Pod Source, Allocated Mode, Used GPU Memory, Allocated GPU Memory, Allocated Computing Power (en blanco si el pod solo solicita memoria GPU o utiliza modo GPU exclusivo), SM Utilization, GPU Memory Copy Utilization, Encode Utilization y Decode Utilization.

Pod Metrics (GPU Device)

Métricas de GPU correspondientes a pods individuales. Utilice estos paneles para rastrear el consumo de memoria GPU y la actividad de SM por pod, así como para detectar pods que se acercan a su límite de memoria GPU.

Nombre del panel	Descripción
Pods Used GPU Memory	Cantidad de memoria GPU utilizada actualmente por el pod.
Pods GPU Memory Used Percentage	Porcentaje de la memoria GPU total disponible utilizada por el pod.
Pods GPU Memory Copy Utilization	Utilización de copia de memoria para el pod.
Pods Average SM Utilization	Utilización promedio de SM para el pod.
Pods GPU Decode Utilization	Utilización del decodificador para el pod.
Pods GPU Encode Utilization	Utilización del codificador para el pod.

Pods Metrics (Host Resource)

Métricas de recursos a nivel de host para pods que ejecutan cargas de trabajo GPU. Utilice estos paneles para identificar cuellos de botella de CPU o memoria que puedan limitar el throughput de la GPU.

Nombre del panel	Descripción
Memory Percent	Porcentaje de memoria del host en uso.
Memory Usage	Cantidad de memoria del host en uso.
CPU Usage By Cores	Uso de CPU por núcleo.
CPU Usage Percent	Porcentaje de CPU en uso.
Network Bandwidth Usage	Uso del ancho de banda de red.
Network Socket	Número de sockets de red activos.
File System	Uso del sistema de archivos.
Process Number	Número de procesos.

GPU Utilization (Associated with Pod)

Actividad de cómputo y de los motores de codificación/decodificación de la GPU para las tarjetas GPU asociadas al pod.

Nombre del panel	Descripción
GPU Utilization	Utilización de la tarjeta GPU para la aplicación.
GPU Memory Copy Utilization	Utilización de copia de memoria para la tarjeta GPU de la aplicación.
Encoder Engine Utilization	Utilización del motor de codificación para la tarjeta GPU de la aplicación.
Decoder Engine Utilization	Utilización del motor de decodificación para la tarjeta GPU de la aplicación.

GPU Memory & BAR1 (Associated with Pod)

Detalles de memoria GPU para las tarjetas GPU asociadas al pod.

Nombre del panel	Descripción
GPU Memory Details	Desglose de memoria GPU por tarjeta para la aplicación, que incluye: UUID, Pod Source, Model Name (modelo de GPU), Driver version, Allocated Mode, Allocated Percentage, Used (cantidad de memoria GPU en uso), Used Percentage y Total (memoria GPU total en la tarjeta).
GPU Memory Used	Cantidad de memoria GPU utilizada por la tarjeta GPU de la aplicación.
GPU Memory Used Percentage	Porcentaje de memoria GPU en uso por la aplicación.
BAR1 Used	Cantidad de memoria BAR1 en uso.
BAR1 Total	Memoria BAR1 total disponible.

GPU Profiling (Associated with Pod)

Métricas de bajo nivel del pipeline de GPU para las tarjetas GPU asociadas al pod. Utilice estos paneles para diagnosticar comportamientos limitados por memoria frente a los limitados por cómputo a nivel de pod.

Nombre del panel	Descripción
Graphics Engine Active	Porcentaje de tiempo durante un ciclo de monitoreo en el que el motor Graphics o Compute está activo.
DRAM Active	Utilización del ancho de banda de memoria.
SM Active	Porcentaje de tiempo que las unidades SM permanecen activas.
SM Occupancy	Tasa de ocupación de SM.
Tensor Core Engine Active	Porcentaje de tiempo durante un ciclo de monitoreo en el que el pipeline de Tensor Core está activo.
FP32 Engine Active	Porcentaje de tiempo durante un ciclo de monitoreo en el que el pipeline FP32 está activo.
FP16 Engine Active	Porcentaje de tiempo durante un ciclo de monitoreo en el que el pipeline FP16 está activo.
FP64 Engine Active	Porcentaje de tiempo durante un ciclo de monitoreo en el que el pipeline FP64 está activo.
PCIE TX Bytes (Device to Host)	Tasa de transferencia de datos a través del bus PCIe desde el dispositivo GPU de la aplicación hacia el host.
PCIE RX Bytes (Host to Device)	Tasa de transferencia de datos a través del bus PCIe desde el host hacia el dispositivo GPU de la aplicación.
NVLINK TX Bytes	Datos enviados a través de NVLink.
NVLINK RX Bytes	Datos recibidos a través de NVLink.

GPU Temperature & Energy (Associated with Pod)

Métricas térmicas y de energía para las tarjetas GPU asociadas al pod.

Nombre del panel	Descripción
Power Usage	Consumo de energía de la tarjeta GPU de la aplicación.
Total Energy Consumption (in J)	Energía total consumida por la tarjeta GPU desde que se cargó el controlador. Unidad: julios.
Memory Temperature	Temperatura de la memoria GPU para la aplicación.
GPU Temperature	Temperatura de la GPU (unidad de cómputo) para la aplicación.

GPU Clock (Associated with Pod)

Frecuencias de reloj para las tarjetas GPU asociadas al pod.

Nombre del panel	Descripción
SM CLOCK	Frecuencia de reloj de SM.
Memory Clock	Frecuencia de reloj de la memoria.
APP SM Clock	Frecuencia de reloj de aplicación de SM.
APP Memory Clock	Frecuencia de reloj de memoria de la aplicación.
Video Clock	Frecuencia de reloj del motor de video.
Clock Throttle Reasons	Motivos del estrangulamiento de reloj.