Métricas de monitoramento de pods GPU do ACS - Container Compute Service: Central de Documentação do Alibaba Cloud

O monitoramento de GPU utiliza uma arquitetura composta por Exporter, Prometheus e Grafana para oferecer observabilidade abrangente. Utilize as métricas do GPU Exporter for Container Service para criar painéis no Grafana e configurar alertas. Este tópico descreve as métricas de monitoramento de GPU disponíveis.

Faturamento

O GPU Exporter é compatível com o projeto open-source DCGM Exporter. As métricas de monitoramento de GPU listadas a seguir são consideradas básicas e não geram custos adicionais quando utilizadas no Prometheus. Métricas personalizadas fora desta lista estão sujeitas a cobranças extras. Para mais detalhes, consulte Visão geral do faturamento.

Métricas

Métricas do DCGM

Filtre as métricas do DCGM utilizando as dimensões abaixo:

namespace="{{pod_namespace}}"
pod="{{pod_name}}"
Hostname="{{pod_name}}"
NodeName="cn-wulanchabu-c.cr-xxx" (apenas para pods GPU-HPN)
UUID="GPU-example-uuid-abcd"
device="nvidia0"
gpu="0"
modelName="example-model"

Métricas de recursos da GPU

Métrica	Nome do campo DCGM	Tipo	Unidade	Descrição
Utilização da GPU	DCGM_FI_DEV_GPU_UTIL	Gauge	%	Percentual de tempo em que uma ou mais funções de kernel permanecem ativas durante um período de amostragem. O período de amostragem é de 1 segundo ou 1/6 de segundo, dependendo do modelo da GPU. Esta métrica indica que um kernel está em execução na GPU, mas não detalha a atividade específica — utilize métricas de profiling para análises mais profundas.
Frame buffer utilizado	DCGM_FI_DEV_FB_USED	Gauge	MiB	Quantidade de frame buffer (memória de vídeo) em uso.
Frame buffer total	DCGM_FI_DEV_FB_TOTAL	Gauge	MiB	Capacidade total de frame buffer (memória de vídeo).
Utilização do codificador	DCGM_FI_DEV_ENC_UTIL	Gauge	%	Percentual de tempo em que o mecanismo de codificação de hardware permanece ativo.
Utilização do decodificador	DCGM_FI_DEV_DEC_UTIL	Gauge	%	Percentual de tempo em que o mecanismo de decodificação de hardware permanece ativo.
Utilização da largura de banda de memória	DCGM_FI_DEV_MEM_COPY_UTIL	Gauge	%	Percentual da largura de banda máxima de memória atualmente em uso. Por exemplo, uma NVIDIA V100 possui largura de banda de pico de 900 GB/s. Se a largura de banda atual for de 450 GB/s, esta métrica exibirá 50%.

Métricas de profiling

Métrica	Nome do campo DCGM	Tipo	Unidade	Descrição
Atividade do SM	DCGM_FI_PROF_SM_ACTIVE	Gauge	%	Fração de tempo em que pelo menos um warp está ativo em um Streaming Multiprocessor (SM), calculada como média entre todos os SMs. Um warp é considerado ativo após ser agendado e ter seus recursos alocados — ele pode estar executando instruções ou aguardando acesso à memória. Valores abaixo de 0,5 indicam uso ineficiente da GPU; valores acima de 0,8 são necessários para alta eficiência. Por exemplo, com N SMs: executar N blocos de threads durante todo o intervalo resulta em 1,0; executar N/5 blocos de threads, ou N blocos durante 1/5 do intervalo, resulta em 0,2.
Ocupação do SM	DCGM_FI_PROF_SM_OCCUPANCY	Gauge	%	Razão entre warps residentes em um SM e o número máximo de warps suportados por esse SM, calculada como média entre todos os SMs. Maior ocupação nem sempre significa maior utilização da GPU. Para cargas de trabalho limitadas pela largura de banda da memória da GPU (DCGM_FI_PROF_DRAM_ACTIVE), maior ocupação indica uso mais eficaz da GPU.
DRAM ativa	DCGM_FI_PROF_DRAM_ACTIVE	Gauge	%	Fração de ciclos em que a memória do dispositivo (DRAM) está enviando ou recebendo dados, calculada como média ao longo do intervalo. Um valor de 1,0 (100%) significa que uma instrução de DRAM é executada a cada ciclo; na prática, o máximo atingível gira em torno de 0,8 (80%). Um valor de 0,2 indica que 20% dos ciclos foram dedicados a leituras ou gravações na memória do dispositivo.
Throughput de recepção NVLink	DCGM_FI_PROF_NVLINK_RX_BYTES	Counter	B/s	Taxa média de dados recebidos via NVLink, excluindo cabeçalhos de protocolo. Calculada como média ao longo do intervalo — por exemplo, 1 GB transferido em 1 segundo resulta em 1 GB/s, independentemente de padrões de pico. O máximo teórico para NVLink Gen2 é de 25 GB/s por link por direção.
Throughput de transmissão NVLink	DCGM_FI_PROF_NVLINK_TX_BYTES	Counter	B/s	Taxa média de dados transmitidos via NVLink, excluindo cabeçalhos de protocolo. Calculada como média ao longo do intervalo. O máximo teórico para NVLink Gen2 é de 25 GB/s por link por direção.
Throughput de recepção PCIe	DCGM_FI_PROF_PCIE_RX_BYTES	Counter	B/s	Taxa média de dados recebidos pelo barramento PCIe, incluindo cabeçalhos de protocolo e carga útil de dados. Calculada como média ao longo do intervalo. O máximo teórico para PCIe Gen3 é de 985 MB/s por canal.
Throughput de transmissão PCIe	DCGM_FI_PROF_PCIE_TX_BYTES	Counter	B/s	Taxa média de dados transmitidos pelo barramento PCIe, incluindo cabeçalhos de protocolo e carga útil de dados. Calculada como média ao longo do intervalo. O máximo teórico para PCIe Gen3 é de 985 MB/s por canal.
Atividade do Tensor Core	DCGM_FI_PROF_PIPE_TENSOR_ACTIVE	Gauge	%	Fração de ciclos em que o Pipeline Tensor (HMMA/IMMA) permanece ativo, calculada como média ao longo do intervalo. Um valor de 1,0 significa que uma instrução Tensor é emitida a cada dois ciclos de instrução (cada instrução consome dois ciclos). Um valor de 0,2 pode refletir diferentes distribuições: 20% dos SMs executando Tensor Cores a 100% durante todo o intervalo, 100% dos SMs operando com 20% de utilização, 100% dos SMs operando a 100% durante 1/5 do intervalo, ou outras combinações.

Frequência

Métrica	Nome do campo DCGM	Tipo	Unidade	Descrição
Frequência de clock do SM	DCGM_FI_DEV_SM_CLOCK	Gauge	MHz	Frequência atual do clock do SM.

Exceções da GPU e erros XID

Métrica	Nome do campo DCGM	Tipo	Unidade	Descrição
Erro fatal do NVSwitch	DCGM_FI_DEV_NVSWITCH_FATAL_ERRORS	Gauge	Código de erro	Informações sobre erros fatais do NVSwitch. O valor corresponde ao código de erro SXid.
Falha no remapeamento de linhas	DCGM_FI_DEV_ROW_REMAP_FAILURE	Gauge	—	Indica a ocorrência de um erro de remapeamento de linhas.
Remapeamento de linhas pendente	DCGM_FI_DEV_ROW_REMAP_PENDING	Gauge	—	Indica que há um remapeamento de linhas pendente.

Temperatura e energia

Métrica	Nome do campo DCGM	Tipo	Unidade	Descrição
Temperatura da GPU	DCGM_FI_DEV_GPU_TEMP	Gauge	℃	Temperatura atual da GPU.
Temperatura da memória	DCGM_FI_DEV_MEMORY_TEMP	Gauge	℃	Temperatura atual da memória.
Consumo de energia	DCGM_FI_DEV_POWER_USAGE	Gauge	W	Consumo atual de energia.

Páginas desativadas

Métrica	Nome do campo DCGM	Tipo	Unidade	Descrição
Páginas desativadas (SBE)	DCGM_FI_DEV_RETIRED_SBE	Gauge	—	Quantidade de páginas desativadas devido a erros de bit único (SBE).
Páginas desativadas (DBE)	DCGM_FI_DEV_RETIRED_DBE	Gauge	—	Quantidade de páginas desativadas devido a erros de bit duplo (DBE).

Métricas RDMA

Filtre as métricas RDMA utilizando as dimensões abaixo:

app="nusa-exporter"
hostname="{{pod_name}}"
ip="172.16.17.114"
namespace="{{pod_namespace}}"
node="{{virtual-kubelet-nodename}}"
pod="{{pod_name}}"

Métrica	Tipo	Unidade	Descrição
rdma_service_monitor_tx_bytes_rate	Gauge	bytes	Tráfego de saída instantâneo na rede RDMA do pod.
rdma_service_monitor_rx_bytes_rate	Gauge	bytes	Tráfego de entrada instantâneo na rede RDMA do pod.
rdma_service_monitor_tx_bytes	Counter	bytes	Tráfego acumulado de saída na rede RDMA do pod.
rdma_service_monitor_rx_bytes	Counter	bytes	Tráfego acumulado de entrada na rede RDMA do pod.
rdma_service_monitor_tx_packets_rate	Gauge	packets	Taxa instantânea de pacotes de saída na rede RDMA do pod.
rdma_service_monitor_rx_packets_rate	Gauge	packets	Taxa instantânea de pacotes de entrada na rede RDMA do pod.
rdma_service_monitor_tx_packets	Counter	packets	Número acumulado de pacotes de saída na rede RDMA do pod.
rdma_service_monitor_rx_packets	Counter	packets	Número acumulado de pacotes de entrada na rede RDMA do pod.