EAS metrics - Platform For AI: Central de Documentação do Alibaba Cloud

Após implantar um service do EAS, visualize métricas como QPS, latência, taxa de erros e uso de recursos na aba Monitor da página de detalhes do service, para acompanhar o status de invocação e execução.

Visualize os dados de monitoramento

Acesse a página de monitoramento

Acesse o PAI console. Selecione uma região na parte superior da página. Em seguida, selecione o workspace desejado e clique em Enter Elastic Algorithm Service (EAS).
Clique no nome do service de destino para acessar a página de detalhes e, em seguida, alterne para a aba Monitor.

Selecione dimensões e dashboards

A página de monitoramento oferece seleção em dois níveis no canto superior esquerdo: primeiro selecione uma dimensão de monitoramento (Service ou Instance) na lista suspensa e, em seguida, selecione um dashboard.

Nota

Os dashboards LLM estão disponíveis para services de inferência LLM que utilizam o engine vLLM ou SGLang. É necessário usar uma imagem oficial do PAI-EAS ou configurar ServiceEngineType como sglang ou vllm nos rótulos do service. Para mais informações, consulte LLM monitoring metrics > Prerequisites.
Os dashboards GPU estão disponíveis somente para services que utilizam GPUs.

Dimensão Service: visualize as métricas de monitoramento de todo o service. Após selecionar Service na lista suspensa, os seguintes dashboards ficam disponíveis:
- Service-<service_name> (onde <service_name> é o nome do service EAS): o dashboard de monitoramento do service. Exibe métricas gerais como QPS, RT, CPU e Memory.
- LLM: exibe métricas de monitoramento do service com base no engine de inferência (SGLang ou vLLM) usado pelo service LLM, como throughput de requisições e uso de tokens.
- GPU: exibe métricas de hardware GPU, como utilização de SM, largura de banda de memória e erros de NVSwitch.
Dimensão Instance: visualize as métricas de monitoramento de instâncias individuais. Após selecionar Instance na lista suspensa, os seguintes dashboards ficam disponíveis:
- Single Instance: o dashboard de monitoramento de instância única. Só é possível selecionar uma instância por vez. Apenas métricas de monitoramento em nível de minuto estão disponíveis.
- Multiple Instance: o dashboard de monitoramento de múltiplas instâncias. Permite selecionar várias instâncias para comparação. Métricas em nível de minuto e em nível de segundo estão disponíveis.
- LLM Instance: o dashboard de monitoramento de instância LLM. Permite selecionar uma ou mais instâncias para comparação. Exibe métricas de inferência LLM no nível de instância.
- GPU Instance: o dashboard de monitoramento de instância GPU. Permite selecionar uma ou mais instâncias para comparação. Exibe métricas detalhadas de hardware GPU no nível de instância.

A tabela a seguir mapeia cada dashboard para a seção de métricas correspondente.

Dashboard	Seção de métricas
`Service-<service_name>`	Monitoring metrics > Service Monitoring Dashboard
Single Instance	Monitoring metrics > Single Instance Monitoring Dashboard (Minute-Level)
Multiple Instance	Monitoring metrics > Multiple Instance Monitoring Dashboard
GPU / GPU Instance	Monitoring metrics > GPU Monitoring Dashboard
LLM / LLM Instance	LLM monitoring metrics

Altere o intervalo de tempo

Clique em no lado direito da área Monitor para alterar o intervalo de tempo dos dashboards.

No painel seletor de tempo que se abre, especifique um horário de início e fim personalizado (From / To) em Absolute time range à esquerda, ou selecione um intervalo predefinido — como Last 5 minutes até Last 7 days — na lista Relative time ranges à direita. O intervalo selecionado é marcado com um símbolo de verificação (✓).

Importante

As métricas em nível de minuto são retidas por até 1 mês. As métricas em nível de segundo são retidas por até 1 hora.

Métricas de monitoramento

Service Monitoring Dashboard (Minute-Level)

Este dashboard acompanha as seguintes métricas:

Métrica		Descrição
QPS		Requisições por segundo, agrupadas por código de retorno. Para services com múltiplas instâncias, os valores são somados entre todas as instâncias. O offset de 1d exibe o QPS do dia anterior para comparação de tendências.
Response		Total de respostas no intervalo de tempo selecionado, agrupadas por código de retorno. Para services com múltiplas instâncias, os valores são somados entre todas as instâncias.
RT		Tempo de resposta das requisições. Avg: Tempo médio de resposta de todas as requisições. TPXX: Tempo de resposta no percentil XX. Por exemplo, TP5 é o tempo máximo de resposta no 5º percentil. TP100 é o valor máximo entre todas as requisições. Para services com múltiplas instâncias, TP100 corresponde ao valor máximo entre todas as instâncias. Os demais valores TPXX são calculados como média entre as instâncias.
Daily Invoke		Contagem diária de chamadas, agrupada por código de retorno. Para services com múltiplas instâncias, os valores são somados entre todas as instâncias.

More Metrics (CPU | Memory | GPU | Network | Resources)

Métrica		Descrição
CPU	CPU	Uso médio de CPU do service, em núcleos de CPU. Para services com múltiplas instâncias, o valor é calculado como média entre as instâncias.
	CPU Utilization	Utilização média de CPU do service. Cálculo: uso médio de CPU ÷ máximo de núcleos de CPU disponíveis. Para services com múltiplas instâncias, o valor é calculado como média entre as instâncias.
	CPU Total	Total de núcleos de CPU disponíveis para o service. Cálculo: núcleos de CPU disponíveis por instância × número de instâncias do service.
Memory	Memory	Uso médio de memória do service. Para services com múltiplas instâncias, o valor é calculado como média entre as instâncias. RSS: Tamanho da memória física residente. Cache: Tamanho do cache. Total: Tamanho máximo de memória física disponível para uma única instância.
Memory	Memory Utilization	Utilização média de memória do service. Cálculo: Memory RSS ÷ Memory Total. Para services com múltiplas instâncias, o valor é calculado como média entre as instâncias.
GPU	GPU Utilization	Para services com GPU, utilização média de GPU. Para services com múltiplas instâncias, o valor é calculado como média entre as instâncias.
	GPU Memory	Para services com GPU, uso de memória GPU. Para services com múltiplas instâncias, o valor é calculado como média entre as instâncias.
	GPU Total	Para services com GPU, quantidade total de GPUs. Em services com múltiplas instâncias, essa métrica corresponde à soma das GPUs de todas as instâncias.
	GPU Memory Utilization	Para services com GPU, utilização de memória GPU. Para services com múltiplas instâncias, o valor é calculado como média entre as instâncias.
Network	Traffic	Tráfego recebido e enviado pelo service, em bits por segundo. Para services com múltiplas instâncias, o valor é calculado como média entre as instâncias. Onde: In: Tráfego recebido. Out: Tráfego enviado.
Network	TCP Connections	Número de conexões TCP.
Resources	Replicas	Número de instâncias do service em diferentes estados: Total, Pending, Available.
Resources	Replicas By Resource	Número de instâncias do service por tipo de recurso: Total, Dedicated (recursos dedicados), Public (recursos públicos).

Single Instance Monitoring Dashboard (Minute-Level)

Este dashboard acompanha as seguintes métricas:

Métrica	Descrição
QPS	Requisições por segundo recebidas por esta instância. Agrupadas por código de retorno.
RT	Tempo de resposta das requisições para esta instância.
Response	Total de respostas recebidas por esta instância no intervalo de tempo selecionado. Agrupadas por código de retorno.

More Metrics (CPU | Memory | GPU | Network | Resources)

Métrica		Descrição
CPU	CPU	Uso de CPU desta instância, em núcleos de CPU.
CPU	CPU Utilization	Utilização média de CPU desta instância. Cálculo: uso médio de CPU ÷ máximo de núcleos de CPU disponíveis.
Memory	Memory	Uso de memória desta instância. RSS: Tamanho da memória física residente. Cache: Tamanho do cache. Total: Tamanho máximo de memória física disponível para uma única instância.
Memory	Memory Utilization	Utilização média de memória desta instância. Cálculo: Memory RSS ÷ Memory Total.
GPU	GPU Utilization	Utilização de GPU desta instância.
	GPU Memory	Uso de memória GPU desta instância.
	GPU Memory Utilization	Utilização de memória GPU desta instância.
Network	Traffic	Tráfego recebido e enviado por esta instância, em bits por segundo. Onde: In: Tráfego recebido. Out: Tráfego enviado.
Network	TCP Connections	Número de conexões TCP.

Multiple Instance Monitoring Dashboard

Métricas em nível de minuto e em nível de segundo:

Minute-Level

Métrica	Descrição
Instance QPS	Requisições por segundo para cada instância. Agrupadas por código de retorno.
Instance RT	Tempo médio de resposta para cada instância.
Instance CPU	Uso de CPU para cada instância, em núcleos de CPU.
Instance Memory -- RSS	Tamanho da memória física residente para cada instância.
Instance Memory -- Cache	Tamanho do cache para cada instância.
Instance GPU	Utilização de GPU para cada instância.
Instance GPU Memory	Uso de memória GPU para cada instância.
Instance TCP Connections	Número de conexões TCP para cada instância.

Second-Level

Importante

A granularidade dos dados é de 5 segundos. Apenas a última 1 hora de dados é retida.

Métrica	Descrição
Instance QPS Fine	Requisições por segundo recebidas por cada instância. Agrupadas por código de retorno.
Instance RT Fine	Tempo médio de resposta para requisições recebidas por cada instância.

GPU Monitoring Dashboard

Métricas de GPU nos níveis de service e de instância. Os valores no nível de service são calculados como média entre todas as instâncias.

Métrica	Descrição
GPU Utilization	Utilização de GPU do service.
GPU Memory	Uso de memória GPU e total de memória GPU do service. Used: Uso de memória GPU. Total: Total de memória GPU.
Memory Copy Utilization	Utilização de cópia de memória GPU do service.
GPU Memory Utilization	Utilização de memória GPU do service. Cálculo: uso de memória ÷ total de memória.
PCIe	Taxa de PCIe (Peripheral Component Interconnect Express) do service, medida pelo DCGM. PCIe é um padrão de barramento de expansão serial de alta velocidade para computadores. PCIe Transmit: Taxa de transmissão PCIe. PCIe Receive: Taxa de recepção PCIe.
Memory Bandwidth	Métrica de largura de banda de memória GPU do service.
SM Utilization and Occupancy	Métricas relacionadas a SM (Streaming Multiprocessor) do service. Os SMs são componentes centrais de uma GPU, responsáveis por executar e escalonar tarefas de computação paralela. SM Utilization: Utilização de SM. SM Occupancy: Proporção de threads Warp residentes no SM.
Graphics Engine Utilization	Utilização do engine gráfico da GPU do service.
Pipe Active Ratio	Taxa de atividade dos pipelines de computação da GPU do service. Pipe Fp32 Active Ratio: Taxa de atividade do pipeline FP32. Pipe Fp16 Active Ratio: Taxa de atividade do pipeline FP16. Pipe Tensor Active Ratio: Taxa de atividade do pipeline Tensor.
Tflops Usage	Volume de computação em Tflops (Tera floating-point operations per second) dos pipelines de computação da GPU do service. FP32 Tflops Used: Volume de computação Tflops do pipeline FP32. FP16 Tflops Used: Volume de computação Tflops do pipeline FP16. Tensor Tflops Used: Volume de computação Tflops do pipeline Tensor.
DRAM Active Ratio	Taxa de atividade da interface de memória do dispositivo GPU no envio ou recebimento de dados.
SM Clock	Frequência de clock do SM do service.
GPU Temperature	Métricas de temperatura da GPU do service. GPU Temperature: Temperatura da GPU. GPU Slowdown Temperature: Limiar de temperatura de redução de frequência da GPU. Quando a temperatura da GPU atinge esse valor, a GPU reduz automaticamente sua frequência de operação para evitar superaquecimento. GPU Shutdown Temperature: Limiar de temperatura de desligamento da GPU. Quando a temperatura da GPU atinge esse valor, o sistema força o desligamento do dispositivo GPU, prevenindo danos ao hardware ou falhas mais graves decorrentes do superaquecimento.
Power Usage	Consumo de energia da GPU do service.

The following are GPU health status and anomaly information metrics:

Métrica	Descrição
GPU Health Count	Número de placas GPU saudáveis do service.
GPU Lost Card Num	Número de placas GPU perdidas do service.
ECC Error Count	Número de erros ECC do service. O ECC (Error Correction Code) detecta e corrige erros durante a transmissão ou armazenamento de dados na memória GPU. Volatile SBE ECC Error: Número de erros ECC voláteis de bit único do service. Volatile DBE ECC Error: Número de erros ECC voláteis de bit duplo do service. Aggregate SBE ECC Error: Número de erros ECC persistentes de bit único do service. Aggregate DBE ECC Error: Número de erros ECC persistentes de bit duplo do service. Uncorrectable ECC Error: Número de erros ECC não corrigíveis do service.
NVSwitch Error Count	Número de erros de NVSwitch do service. O NVSwitch fornece canais de comunicação de alta largura de banda e baixa latência para comunicação de alta velocidade entre múltiplas GPUs. NVSwitch Fatal Error: Número de erros fatais de NVSwitch do service. NVSwitch Non-Fatal Error: Número de erros não fatais de NVSwitch do service.
Xid Error Count	Número de erros Xid do service. Erros Xid são códigos de erro reportados pelo driver da GPU, indicando problemas encontrados durante a operação. Esses erros geralmente são registrados em logs do sistema (como o dmesg do Linux ou o Visualizador de Eventos do Windows) e representados como códigos Xid. Xid Error: Número de erros Xid não fatais do service. Fatal Xid Error: Número de erros Xid fatais do service.
Kernel Error Count	Número de erros não Xid do service. Erros não Xid referem-se a outros tipos de erros registrados em logs do kernel, excluindo os erros Xid.
Driver Hang	Número de travamentos do driver da GPU do service.
Remap Status	Estado do service quando a GPU tenta remapear linhas de memória GPU.

Métricas de monitoramento de LLM

As métricas de monitoramento de LLM são exibidas no painel LLM ou LLM Instance, independentemente de o service utilizar o engine vLLM ou SGLang. Visualize as métricas de monitoramento correspondentes com base no engine utilizado.

Prerequisites

Os painéis de LLM são exibidos quando qualquer uma das seguintes condições for atendida:

Uma imagem oficial do PAI-EAS é utilizada.
ServiceEngineType é definido como sglang ou vllm nos rótulos do service. Exemplo:
```
{
  "labels": {
    "ServiceEngineType": "sglang"
  }
}
```

Observação:

O backend do EAS chama o endpoint /metrics do engine a cada 10 a 15 segundos para coletar métricas do Prometheus. Por isso, entradas /metrics 200 aparecem regularmente nos logs do service.
As métricas em nível de minuto são retidas por até 1 mês.

Regras de agregação para múltiplas instâncias

Para services com múltiplas instâncias, as métricas de throughput, contagem e capacidade são somadas entre todas as instâncias. Já as métricas de proporção, utilização e latência média são calculadas como média entre todas as instâncias.

SGLang Monitoring Dashboard

Requests

Métrica	Descrição	Prometheus metric
Running & Waiting Reqs	Número de requisições neste momento. Running: Número de requisições em execução no GPU (concorrência em tempo real). Waiting: Número de requisições na fila de espera. Um valor consistentemente maior que 0 indica sobrecarga. Para services com múltiplas instâncias, esta métrica é somada entre todas as instâncias.	`sglang:num_running_reqs` `sglang:num_queue_reqs`
Request Rate (success/abort/fail)	Taxa de requisições neste momento, em requisições por segundo. requests: Taxa de requisições concluídas. aborted: Taxa de requisições canceladas por desconexão do cliente, timeout ou cancelamento explícito. transfer_failed: Taxa de requisições com falhas de transferência de KV cache no modo de disaggregação PD. failed_session_recoveries: Taxa de recuperações de sessão do transporte Mooncake (removidas da blocklist) no modo de disaggregação PD. Para services com múltiplas instâncias, esta métrica é somada entre todas as instâncias.	`sglang:num_requests_total` `sglang:num_aborted_requests_total` `sglang:num_transfer_failed_reqs_total` `sglang:failed_session_recoveries_total`
Prompt & Generation Token Rate	Taxa de tokens de entrada e saída neste momento. TPS_IN: Número de tokens de entrada (Prefill) processados por segundo. TPS_OUT: Número de tokens de saída (Decode) gerados por segundo. Para services com múltiplas instâncias, esta métrica é somada entre todas as instâncias.	`sglang:prompt_tokens_total` `sglang:generation_tokens_total`

Latency

Métrica	Descrição	Prometheus metric
Queue Time	Latência de espera na fila para todas as requisições neste momento, desde a entrada da requisição na fila de espera até o scheduler agendá-la para computação. Avg: Média ponderada da latência de fila entre todas as requisições. P50/P95/P99: Valores de percentil da latência de fila entre todas as requisições.	`sglang:queue_time_seconds`
Time To First Token	Latência de tempo até o primeiro token (TTFT) para todas as requisições neste momento, desde o recebimento da requisição até a geração do primeiro token. Avg: Média ponderada do TTFT entre todas as requisições. P50/P95/P99: Valores de percentil do TTFT entre todas as requisições.	`sglang:time_to_first_token_seconds`
Time Per Output Token	Latência de tempo por token de saída (TPOT/ITL) para todas as requisições neste momento — o tempo necessário para cada token de saída subsequente após a geração do primeiro token. Avg: Média ponderada do TPOT entre todas as requisições. P50/P95/P99: Valores de percentil do TPOT entre todas as requisições.	`sglang:inter_token_latency_seconds`
E2E Request Latency	Latência de ponta a ponta para todas as requisições neste momento, desde o recebimento da requisição até o retorno de todos os tokens. Avg: Média ponderada da latência de ponta a ponta entre todas as requisições. P50/P95/P99: Valores de percentil da latência de ponta a ponta entre todas as requisições. Nota Esta métrica é fornecida pelo motor SGLang. A métrica RT no painel de monitoramento do service é fornecida pelo motor EAS (easworker). Para cenários de LLM, esta métrica é a recomendada.	`sglang:e2e_request_latency_seconds`
Latency by PD Stage (Avg)	Tempo médio em cada estágio de processamento neste momento, exibido como curvas separadas pelo rótulo `stage`. Use esta métrica para identificar qual estágio consome mais latência. Os estágios mais comuns incluem: `tokenize` (tokenização), `api_server_dispatch` (despacho do API Server), `dpc_dispatch` (despacho do DP controller), `request_process` (recebimento e processamento pelo scheduler) `prefill_waiting`/`decode_waiting` (espera na fila) `prefill_forward`/`prefill_chunked_forward`/`decode_forward`/`decode_loop` (computação forward) `mm_encode` (codificação multimodal) `spec_draft`/`spec_verify` (rascunho e verificação do speculative decoding) Estágios de disaggregação PD: `prefill_bootstrap`/`prefill_transfer_kv_cache`/`decode_prealloc`/`decode_bootstrap`/`decode_transferred`	`sglang:per_stage_req_latency_seconds`

Token Length Distribution

Métrica	Descrição	Prometheus metric
Prompt Tokens Length	Distribuição dos comprimentos de tokens de entrada para todas as requisições neste momento. Avg: Média ponderada do comprimento de tokens de entrada. P50/P95/P99: Valores de percentil do comprimento de tokens de entrada.	`sglang:prompt_tokens_histogram`
Uncached Prompt Tokens Length	Distribuição dos comprimentos de tokens de entrada que não encontraram cache e exigem computação real neste momento (igual ao comprimento do token de entrada menos o comprimento do token com cache hit de prefixo). Esta métrica representa o custo computacional real do estágio Prefill. Avg: Média ponderada do comprimento de tokens de entrada sem cache. P50/P95/P99: Valores de percentil do comprimento de tokens de entrada sem cache.	`sglang:uncached_prompt_tokens_histogram`
Generation Tokens Length	Distribuição dos comprimentos de tokens de saída para todas as requisições neste momento. Avg: Média ponderada do comprimento de tokens de saída. P50/P95/P99: Valores de percentil do comprimento de tokens de saída.	`sglang:generation_tokens_histogram`

Token Throughput

Métrica

Descrição

Prometheus metric

Token Rate by Phase (Prefill/Decode)

Taxa de processamento de tokens por fase neste momento, exibida como curvas separadas pelo rótulo mode.

prefill_compute: Taxa de tokens efetivamente computados durante o estágio Prefill.
prefill_cache: Taxa de tokens atendidos por cache hits de prefixo durante o estágio Prefill (sem computação necessária).
decode: Taxa de tokens gerados durante o estágio Decode.

Para services com múltiplas instâncias, esta métrica é somada entre todas as instâncias.

sglang:realtime_tokens_total

Decode Sum Seq Lens

Soma de todos os comprimentos de sequência nos batches de Decode neste momento. Reflete a escala real de leitura da computação de Attention no estágio Decode.

Para services com múltiplas instâncias, esta métrica é somada entre todas as instâncias.

sglang:decode_sum_seq_lens

Cache Hierarchy

Métrica	Descrição	Prometheus metric
Prefix Cache Hit Rate	Taxa média de cache hit de prefixo para todas as requisições neste momento. Para services com múltiplas instâncias, esta métrica é calculada como média entre todas as instâncias.	`sglang:cache_hit_rate`
Cached Prompt Tokens by Source	Taxa de tokens de entrada em cache neste momento, exibida como curvas separadas pelo rótulo `cache_source` para mostrar os níveis da hierarquia de cache. device: Cache hits de prefixo na memória GPU (L1). host: Cache hits do HiCache na memória do host (L2). storage_<backend>: Cache hits do backend de armazenamento externo do HiCache (L3), com sufixo do nome do backend. Para services com múltiplas instâncias, esta métrica é somada entre todas as instâncias.	`sglang:cached_tokens_total`
Cache Hit Ratio by Source	Proporção de cache hit por nível hierárquico neste momento. Cálculo: taxa de tokens de cada nível ÷ taxa total de tokens de entrada. Os valores são normalizados de 0 a 1. <cache_source> ratio: Proporção de hit para cada nível (device/host/storage_<backend>). uncached: Proporção de tokens de entrada que não encontraram nenhum nível de cache e exigem computação real.	`sglang:cached_tokens_total` `sglang:prompt_tokens_total`
HiCache Host Tokens	Marca d'água de tokens do cache HiCache na memória do host (L2) neste momento. Exibido somente quando o HiCache estiver ativado. used: Número de tokens em uso no cache do host. total: Capacidade total de tokens do cache do host. Para services com múltiplas instâncias, esta métrica é somada entre todas as instâncias.	`sglang:hicache_host_used_tokens` `sglang:hicache_host_total_tokens`
Eviction Duration (GPU→CPU)	Tempo para remover o KV cache da GPU para a memória do host neste momento. Avg: Média ponderada da duração de remoção. P99: Duração de remoção no percentil 99.	`sglang:eviction_duration_seconds`
Load Back Duration (CPU→GPU)	Tempo para recarregar o KV cache da memória do host de volta para a GPU neste momento. Essa duração é somada diretamente ao TTFT das requisições que obtêm hit no cache L2. Avg: Média ponderada da duração de carregamento. P99: Duração de carregamento no percentil 99.	`sglang:load_back_duration_seconds`
Cache Tokens Flow (L1↔L2↔L3)	Taxa de fluxo de tokens do KV cache entre os três níveis de armazenamento neste momento. Use esta métrica para determinar a direção e a pressão da movimentação de dados do HiCache. L3→L2 prefetched (storage→host): Taxa de tokens pré-carregados do armazenamento externo para a memória do host. L2→L1 load_back (host→GPU): Taxa de tokens carregados da memória do host de volta para a GPU. L2→L3 backuped (host→storage): Taxa de tokens copiados da memória do host para o armazenamento externo. L1→L2 evicted (GPU→host): Taxa de tokens removidos da GPU para a memória do host. Para services com múltiplas instâncias, esta métrica é somada entre todas as instâncias.	`sglang:prefetched_tokens_total` `sglang:load_back_tokens_total` `sglang:backuped_tokens_total` `sglang:evicted_tokens_total`

KV Cache Pool

Os painéis a seguir mostram a composição e a pressão de cada pool de memória nas dimensões de slots e de utilização. Para services com múltiplas instâncias, as métricas de slots são somadas entre todas as instâncias, enquanto as métricas de utilização e proporção são calculadas como média entre todas as instâncias.

Métrica	Descrição	Prometheus metric
KV Cache Tokens Pool	Composição de slots do pool principal de KV cache neste momento. available: Número de slots de token completamente ociosos, disponíveis para alocação direta. evictable: Número de slots de token ocupados pelo cache de prefixo Radix que podem ser removidos e reutilizados quando necessário. used: Número de slots de token atualmente ocupados por requisições em execução. Nota É normal que `available` seja 0 enquanto `evictable` seja alto. Isso indica que a memória GPU está totalmente utilizada pelo cache de prefixo. A escassez real de memória GPU só ocorre quando ambos `available` e `evictable` se aproximam de 0.	`sglang:kv_available_tokens` `sglang:kv_evictable_tokens` `sglang:kv_used_tokens`
SWA Tokens Pool	Composição de slots do pool de sliding window attention (SWA) neste momento, com curvas de available/evictable/used. Os significados são os mesmos descritos acima. Exibido somente para modelos SWA híbridos.	`sglang:swa_available_tokens` `sglang:swa_evictable_tokens` `sglang:swa_used_tokens`
Mamba SSM Pool	Composição de slots do pool de estados SSM do Mamba neste momento, com curvas de available/evictable/used. Os significados são os mesmos descritos acima. Exibido somente para modelos SSM híbridos (Mamba/GDN/KDA). Nota Os slots deste pool são alocados por requisição, e não por token. Essa é uma restrição rígida comum para concorrência em modelos híbridos.	`sglang:mamba_available_tokens` `sglang:mamba_evictable_tokens` `sglang:mamba_used_tokens`
KV Cache Used Tokens	Número de tokens de KV cache em uso neste momento. Para services com múltiplas instâncias, esta métrica é somada entre todas as instâncias.	`sglang:num_used_tokens`
KV Cache Usage Ratio	Utilização média de tokens do KV cache neste momento. Um valor consistentemente próximo de 1 indica que o pool de memória GPU se tornou um gargalo de throughput, o que aciona o enfileiramento ou a retração de requisições. Para services com múltiplas instâncias, esta métrica é calculada como média entre todas as instâncias.	`sglang:token_usage`
KV Usage by Pool (Full/SWA/Mamba)	Utilização média de cada pool de memória neste momento. Para modelos de atenção híbrida, use esta métrica para identificar qual pool satura primeiro. full: Utilização do pool KV da camada de full attention. swa: Utilização do pool KV da camada de sliding window attention (SWA). Exibido somente para modelos SWA híbridos. mamba: Utilização do pool de estados da camada Mamba/linear attention. Exibido somente para modelos SSM híbridos. pending_prealloc: Proporção de tokens pré-reservados, mas ainda não pré-alocados no modo de disaggregação PD. Para services com múltiplas instâncias, esta métrica é calculada como média entre todas as instâncias.	`sglang:full_token_usage` `sglang:swa_token_usage` `sglang:mamba_usage` `sglang:pending_prealloc_token_usage`

KV Transfer

Os painéis a seguir contêm dados somente quando o service está implantado no modo de disaggregação PD (Prefill/Decode Disaggregation). Para services com múltiplas instâncias, as métricas de latência são médias ponderadas entre todas as instâncias.

<!--@table {"id":"sglang_mon_tbl_kvtransfer","table

VLLM Monitoring Dashboard

Em services com múltiplas instâncias, as métricas de throughput são somadas e as métricas de latência são calculadas como média entre as instâncias.

Metric	Description
Requests Status	Total de requisições do service. Running: Número de requisições em execução na GPU. Waiting: Número de requisições aguardando processamento. Swapped: Número de requisições transferidas para a CPU.
Token Throughput	Número de tokens de entrada e gerados para todas as requisições do service. TPS_IN: Número de tokens de entrada. TPS_OUT: Número de tokens de saída.
Request Completion Status	Estatísticas de status de conclusão para todas as requisições do service. preemptions: Requisições interrompidas por preempção. stop: Requisições concluídas com êxito por encerramento natural (o modelo gerou um token de parada, como <EOS>). length: Requisições que atingiram o comprimento máximo de tokens de saída. abort: Requisições encerradas de forma forçada.
Time To First Token	Latência do tempo até o primeiro token para todas as requisições do service (tempo desde o recebimento da requisição até a geração do primeiro token). Avg: Latência média do tempo até o primeiro token para todas as requisições. TPXX: Valores percentis da latência do tempo até o primeiro token para todas as requisições.
Time Per Output Token	Latência por token de saída para todas as requisições do service (tempo médio necessário para cada token de saída após a geração do primeiro token). Avg: Latência média por token para todas as requisições. TPXX: Valores percentis da latência por token para todas as requisições.
E2E Request Latency	Latência de ponta a ponta para todas as requisições do service (tempo desde o recebimento da requisição até o retorno de todos os tokens). Avg: Latência média de ponta a ponta para todas as requisições. TPXX: Valores percentis da latência de ponta a ponta para todas as requisições.
Queue Time	Latência de espera em fila para todas as requisições do service (tempo que as requisições aguardam na fila antes do processamento pelo engine). Avg: Latência média de espera em fila para todas as requisições. TPXX: Valores percentis da latência de espera em fila para todas as requisições.
Inference Time	Latência de inferência para todas as requisições do service (tempo em que as requisições são processadas pelo engine). Avg: Latência média de inferência para todas as requisições. TPXX: Valores percentis da latência de inferência para todas as requisições.
Prefill Time	Latência da etapa de prefill para todas as requisições do service (tempo em que o engine processa os tokens de entrada da requisição). Avg: Latência média de prefill para todas as requisições. TPXX: Valores percentis da latência de prefill para todas as requisições.
Decode Time	Latência da etapa de decode para todas as requisições do service (tempo em que o engine gera os tokens de saída). Avg: Latência média de decode para todas as requisições. TPXX: Valores percentis da latência de decode para todas as requisições.
Input Token Length	Número de tokens de entrada processados pelo service. Avg: Comprimento médio dos tokens de entrada para todas as requisições. TPXX: Valores percentis do comprimento dos tokens de entrada para todas as requisições.
Output Token Length	Número de tokens de saída gerados pelo service. Avg: Comprimento médio dos tokens de saída para todas as requisições. TPXX: Valores percentis do comprimento dos tokens de saída para todas as requisições.
Request Parameters(params_n & max_tokens)	Parâmetro N e parâmetro max_tokens para todas as requisições do service. Params_n: Valor médio do parâmetro N para todas as requisições. Params_max_tokens: Valor médio do parâmetro max_tokens para todas as requisições.
GPU KV Cache Usage	Utilização média do KV cache da GPU pelo service.
CPU KV Cache Usage	Utilização média do KV cache da CPU pelo service.
Prefix Cache Hit Rate	Taxa média de acerto do cache de prefixo para todas as requisições do service. GPU: Taxa média de acerto do cache de prefixo na GPU para todas as requisições. CPU: Taxa média de acerto do cache de prefixo na CPU para todas as requisições.
HTTP Requests by Endpoint	Número de requisições do service, agrupadas por método de requisição, caminho e código de status da resposta.
HTTP Request Latency	Latência média para os diferentes caminhos de requisição do service.
Speculative Decoding Throughput	Contagem de decodificação especulativa do service. Em services com múltiplas instâncias, o valor é calculado como média entre as instâncias. Drafts: Número de Draft Tokens gerados. Draft Tokens: Número de Draft Tokens processados. Accepted Tokens: Número de Draft Tokens aceitos. Emitted Tokens: Número de Draft Tokens emitidos.
Speculative Decoding Efficiency	Desempenho de decodificação especulativa do service. Draft Acceptance Rate: Taxa média de aceitação dos Draft Tokens. Efficiency: Eficiência média da decodificação especulativa.
Token Acceptance by Position	Número de Draft Tokens aceitos em diferentes posições de geração para o service. Em services com múltiplas instâncias, o valor é calculado como média entre as instâncias.

FAQ

Painel de monitoramento de LLM não exibido

Problema: Após o deployment personalizado no EAS, a página de monitoramento exibe apenas os painéis Service e GPU. O monitoramento de LLM não aparece.

Causa: A configuração do service não contém a tag ServiceEngineType, que declara o tipo de engine de inferência.

Nota

Somente a tag ServiceEngineType afeta o monitoramento de LLM. Os demais parâmetros de deployment do Model Gallery não têm impacto.

Solução: Atualize a configuração do service para adicionar a tag ServiceEngineType e defina seu valor conforme a engine de inferência utilizada (somente vllm ou sglang são suportadas). Por exemplo:

{
  "labels": {
    "ServiceEngineType": "vllm"
  }
}

P: Por que `/metrics 200` aparece com frequência nos logs?

Assim que a tag ServiceEngineType entra em vigor, o backend do EAS consulta o endpoint /metrics do framework de inferência a cada 10 a 15 segundos em todos os pods. Esse endpoint retorna métricas em tempo real no formato Prometheus para o painel de monitoramento de LLM.

P: Como verificar a concorrência máxima no monitoramento?

O monitoramento do EAS não oferece uma métrica direta de "concorrência máxima". Determine a concorrência com base no tipo de service:

Services de inferência LLM (engine vllm ou sglang): Acesse o VLLM Monitoring Dashboard ou o SGLang Monitoring Dashboard e verifique a métrica Running em Requests Status ou Requests Num. Essa métrica indica o número de requisições em execução na GPU no momento, representando a concorrência em tempo real. Ao alterar o intervalo de tempo (por exemplo, selecionando Last 1 hours ou Last 6 hours), é possível identificar o valor de pico da curva Running, que corresponde à concorrência máxima no período.
Services gerais: Estime a concorrência usando as métricas QPS (consultas por segundo) e RT (tempo de resposta) do painel de monitoramento do service. De acordo com a Lei de Little: Concurrency ≈ QPS × Average RT (seconds). Por exemplo, se o QPS for 10 e o RT médio for 2 segundos, a concorrência é de aproximadamente 20. Aplique essa fórmula durante os períodos de pico para estimar a concorrência máxima.

P: Qual é a diferença entre E2E Request Latency e RT?

O E2E Request Latency é fornecido pela engine de inferência LLM, enquanto o RT é fornecido pela engine do EAS (easworker). Em cenários com LLM, recomenda-se utilizar o E2E Request Latency.

Referência

Após habilitar os alertas de monitoramento do service, você receberá notificações de alerta sempre que o service acionar regras de alerta.
Visualize os eventos do EAS Cloud Monitor pelo console do Cloud Monitor ou por operações de API para executar tarefas de O&M, auditoria ou configuração de alertas para esses eventos.
Defina métricas de monitoramento personalizadas para Auto Scaling com base na lógica de negócios. Custom Monitoring and Scaling Metrics.

Visualize os dados de monitoramento

Acesse a página de monitoramento

Selecione dimensões e dashboards

Altere o intervalo de tempo

Métricas de monitoramento

Service Monitoring Dashboard (Minute-Level)

Single Instance Monitoring Dashboard (Minute-Level)

Multiple Instance Monitoring Dashboard

GPU Monitoring Dashboard

Métricas de monitoramento de LLM

Prerequisites

Regras de agregação para múltiplas instâncias

SGLang Monitoring Dashboard

Requests

Latency

Token Length Distribution

Token Throughput

Cache Hierarchy

KV Cache Pool

KV Transfer

VLLM Monitoring Dashboard

FAQ

Painel de monitoramento de LLM não exibido

P: Por que /metrics 200 aparece com frequência nos logs?

P: Como verificar a concorrência máxima no monitoramento?

P: Qual é a diferença entre E2E Request Latency e RT?

Referência

P: Por que `/metrics 200` aparece com frequência nos logs?