EAS metrics - Platform For AI - Centre de documentation Alibaba Cloud

Une fois un service EAS déployé, vous pouvez consulter des métriques telles que le QPS, la latence, le taux d'erreur et l'utilisation des ressources dans l'onglet Monitor de la page des détails du service afin de comprendre l'état d'appel et d'exécution du service.

Consulter les données de surveillance

Accéder à la page de surveillance

Connectez-vous à la console PAI. Sélectionnez une région en haut de la page. Ensuite, sélectionnez l'espace de travail souhaité et cliquez sur Enter Elastic Algorithm Service (EAS).
Cliquez sur le nom du service cible pour accéder à la page des détails du service, puis basculez vers l'onglet Monitor.

Sélectionner les dimensions et les tableaux de bord

La page de surveillance propose une sélection à deux niveaux dans le coin supérieur gauche : sélectionnez d'abord une dimension de surveillance (Service ou Instance) dans la liste déroulante, puis choisissez un tableau de bord.

Remarque

Les tableaux de bord LLM sont disponibles pour les services d'inférence LLM qui utilisent le moteur vLLM ou SGLang. Vous devez utiliser une image officielle PAI-EAS ou configurer ServiceEngineType avec la valeur sglang ou vllm dans les libellés du service. Pour plus d'informations, consultez Métriques de surveillance LLM > Prérequis.
Les tableaux de bord GPU sont disponibles uniquement pour les services utilisant des GPU.

Dimension Service : Consultez les métriques de surveillance pour l'ensemble du service. Après avoir sélectionné Service dans la liste déroulante, les tableaux de bord suivants sont disponibles :
- Service-<service_name> (où <service_name> correspond au nom du service EAS) : il s'agit du tableau de bord de surveillance du service. Ce tableau affiche des métriques générales telles que le QPS, le RT, le CPU et la mémoire.
- LLM : Affiche les métriques de surveillance du service en fonction du moteur d'inférence (SGLang ou vLLM) utilisé par le service LLM, comme le débit des requêtes et l'utilisation des tokens.
- GPU : Affiche les métriques matérielles du GPU, telles que l'utilisation des SM, la bande passante mémoire et les erreurs NVSwitch.
Dimension Instance : Consultez les métriques de surveillance pour des instances individuelles. Après avoir sélectionné Instance dans la liste déroulante, les tableaux de bord suivants sont disponibles :
- Single Instance : Tableau de bord de surveillance d'une instance unique. Vous ne pouvez sélectionner qu'une seule instance à la fois. Seules les métriques de surveillance au niveau de la minute sont disponibles.
- Multiple Instance : Tableau de bord de surveillance multi-instances. Vous pouvez sélectionner plusieurs instances pour les comparer. Les métriques de surveillance au niveau de la minute et de la seconde sont disponibles.
- LLM Instance : Tableau de bord de surveillance des instances LLM. Vous pouvez sélectionner une ou plusieurs instances pour les comparer. Ce tableau affiche les métriques d'inférence LLM au niveau de l'instance.
- GPU Instance : Tableau de bord de surveillance des instances GPU. Vous pouvez sélectionner une ou plusieurs instances pour les comparer. Ce tableau affiche des métriques matérielles GPU granulaires au niveau de l'instance.

Le tableau suivant établit la correspondance entre chaque tableau de bord et la section de métriques associée.

Tableau de bord

Section des métriques

Service-<service_name>

Métriques de surveillance > Tableau de bord de surveillance du service

Single Instance

Métriques de surveillance > Tableau de bord de surveillance d'une instance unique (niveau minute)

Multiple Instance

Métriques de surveillance > Tableau de bord de surveillance multi-instances

GPU / GPU Instance

Métriques de surveillance > Tableau de bord de surveillance GPU

LLM / LLM Instance

Métriques de surveillance LLM

Modifier la plage de temps

Cliquez sur à droite de la zone Monitor pour modifier la plage de temps des tableaux de bord.

Dans le panneau de sélection de l'heure qui s'ouvre, vous pouvez spécifier une heure de début et de fin personnalisée (From / To) sous Absolute time range à gauche, ou sélectionner une plage prédéfinie, telle que Last 5 minutes à Last 7 days, dans la liste Relative time ranges à droite. La plage de temps sélectionnée est marquée d'une coche (✓).

Important

Les métriques au niveau de la minute sont conservées pendant un mois maximum. Les métriques au niveau de la seconde sont conservées pendant une heure maximum.

Métriques de surveillance

Tableau de bord de surveillance des services (niveau minute)

Ce tableau de bord suit les métriques suivantes :

Metric		Description
QPS		Nombre de requêtes par seconde, regroupées par code de retour. Pour les services multi-instances, cette valeur est la somme des requêtes sur toutes les instances. Le décalage d'un jour (1d offset) affiche le QPS de la veille pour permettre une comparaison des tendances.
Response		Nombre total de réponses dans la plage de temps sélectionnée, regroupées par code de retour. Pour les services multi-instances, cette valeur est la somme des réponses sur toutes les instances.
RT		Temps de réponse des requêtes. Avg : Temps de réponse moyen de toutes les requêtes. TPXX : Temps de réponse au XXe centile. Par exemple, TP5 correspond au temps de réponse maximal du 5e centile. TP100 représente le temps de réponse maximal parmi toutes les requêtes. Pour les services multi-instances, TP100 est la valeur maximale observée sur l'ensemble des instances. Les autres valeurs TPXX correspondent à la moyenne calculée sur toutes les instances.
Daily Invoke		Nombre d'appels quotidiens, regroupés par code de retour. Pour les services multi-instances, cette valeur est la somme des appels sur toutes les instances.

Autres métriques (CPU | Memory | GPU | Network | Resources)

Metric		Description
CPU	CPU	Utilisation moyenne du CPU par le service, exprimée en cœurs CPU. Pour les services multi-instances, cette valeur est la moyenne calculée sur toutes les instances.
	CPU Utilization	Taux d'utilisation moyen du CPU par le service. Calcul : Utilisation moyenne du CPU ÷ Nombre maximal de cœurs CPU disponibles. Pour les services multi-instances, cette valeur est la moyenne calculée sur toutes les instances.
	CPU Total	Nombre total de cœurs CPU disponibles pour le service. Calcul : Nombre de cœurs CPU disponibles par instance × Nombre d'instances du service.
Memory	Memory	Utilisation moyenne de la mémoire par le service. Pour les services multi-instances, cette valeur est la moyenne calculée sur toutes les instances. RSS : Taille de la mémoire physique résidente. Cache : Taille du cache. Total : Taille maximale de la mémoire physique disponible pour une seule instance.
Memory	Memory Utilization	Taux d'utilisation moyen de la mémoire par le service. Calcul : Mémoire RSS ÷ Mémoire Total. Pour les services multi-instances, cette valeur est la moyenne calculée sur toutes les instances.
GPU	GPU Utilization	Pour les services activés pour le GPU, taux d'utilisation moyen du GPU. Pour les services multi-instances, cette valeur est la moyenne calculée sur toutes les instances.
	GPU Memory	Pour les services activés pour le GPU, utilisation de la mémoire GPU. Pour les services multi-instances, cette valeur est la moyenne calculée sur toutes les instances.
	GPU Total	Pour les services activés pour le GPU, quantité totale de GPU. Pour les services comportant plusieurs instances, cette métrique correspond à la somme des GPU sur l'ensemble des instances.
	GPU Memory Utilization	Pour les services activés pour le GPU, taux d'utilisation de la mémoire GPU. Pour les services multi-instances, cette valeur est la moyenne calculée sur toutes les instances.
Network	Traffic	Trafic reçu et envoyé par le service, exprimé en bits par seconde. Pour les services multi-instances, cette valeur est la moyenne calculée sur toutes les instances. Où : In : Trafic reçu. Out : Trafic envoyé.
Network	TCP Connections	Nombre de connexions TCP.
Resources	Replicas	Nombre d'instances de service selon leur état : Total, En attente (Pending), Disponible (Available).
Resources	Replicas By Resource	Nombre d'instances de service par type de ressource : Total, Dédié (ressources dédiées), Public (ressources publiques).

Tableau de bord de surveillance d'une instance unique (niveau minute)

Ce tableau de bord suit les métriques suivantes :

Metric

Description

QPS

Nombre de requêtes par seconde reçues par cette instance, regroupées par code de retour.

Temps de réponse des requêtes pour cette instance.

Response

Nombre total de réponses reçues par cette instance dans la plage de temps sélectionnée, regroupées par code de retour.

Autres métriques (CPU | Memory | GPU | Network | Resources)

Metric		Description
CPU	CPU	Utilisation du CPU par cette instance, exprimée en cœurs CPU.
CPU	CPU Utilization	Taux d'utilisation moyen du CPU par cette instance. Calcul : Utilisation moyenne du CPU ÷ Nombre maximal de cœurs CPU disponibles.
Memory	Memory	Utilisation de la mémoire par cette instance. RSS : Taille de la mémoire physique résidente. Cache : Taille du cache. Total : Taille maximale de la mémoire physique disponible pour une seule instance.
Memory	Memory Utilization	Taux d'utilisation moyen de la mémoire par cette instance. Calcul : Mémoire RSS ÷ Mémoire Total.
GPU	GPU Utilization	Taux d'utilisation du GPU par cette instance.
	GPU Memory	Utilisation de la mémoire GPU par cette instance.
	GPU Memory Utilization	Taux d'utilisation de la mémoire GPU par cette instance.
Network	Traffic	Trafic reçu et envoyé par cette instance, exprimé en bits par seconde. Où : In : Trafic reçu. Out : Trafic envoyé.
Network	TCP Connections	Nombre de connexions TCP.

Tableau de bord de surveillance multi-instances

Métriques au niveau minute et au niveau seconde :

Niveau minute

Metric

Description

Instance QPS

Nombre de requêtes par seconde pour chaque instance, regroupées par code de retour.

Instance RT

Temps de réponse moyen pour chaque instance.

Instance CPU

Utilisation du CPU pour chaque instance, exprimée en cœurs CPU.

Instance Memory -- RSS

Taille de la mémoire physique résidente pour chaque instance.

Instance Memory -- Cache

Taille du cache pour chaque instance.

Instance GPU

Taux d'utilisation du GPU pour chaque instance.

Instance GPU Memory

Utilisation de la mémoire GPU pour chaque instance.

Instance TCP Connections

Nombre de connexions TCP pour chaque instance.

Niveau seconde

Important

La granularité des données est de 5 secondes. Seules les données de la dernière heure sont conservées.

Metric

Description

Instance QPS Fine

Nombre de requêtes par seconde reçues par chaque instance, regroupées par code de retour.

Instance RT Fine

Temps de réponse moyen des requêtes reçues par chaque instance.

Tableau de bord de surveillance GPU

Métriques GPU aux niveaux service et instance. Les valeurs au niveau service correspondent à la moyenne calculée sur l'ensemble des instances.

Metric	Description
GPU Utilization	Taux d'utilisation du GPU par le service.
GPU Memory	Utilisation de la mémoire GPU et mémoire GPU totale du service. Used : Utilisation de la mémoire GPU. Total : Mémoire GPU totale.
Memory Copy Utilization	Taux d'utilisation des copies de mémoire GPU par le service.
GPU Memory Utilization	Taux d'utilisation de la mémoire GPU par le service. Calcul : Utilisation de la mémoire ÷ Mémoire totale.
PCIe	Débit PCIe (Peripheral Component Interconnect Express) du service, mesuré par DCGM. PCIe est une norme de bus d'extension informatique série haute vitesse. PCIe Transmit : Taux de transmission PCIe. PCIe Receive : Taux de réception PCIe.
Memory Bandwidth	Métrique de bande passante de la mémoire GPU du service.
SM Utilization and Occupancy	Métriques liées aux SM (Streaming Multiprocessor) du service. Les SM sont des composants centraux d'un GPU, chargés d'exécuter et d'ordonnancer les tâches de calcul parallèle. SM Utilization : Taux d'utilisation des SM. SM Occupancy : Ratio des threads Warp résidant sur le SM.
Graphics Engine Utilization	Taux d'utilisation du moteur graphique GPU du service.
Pipe Active Ratio	Taux d'activité des pipelines de calcul GPU du service. Pipe Fp32 Active Ratio : Taux d'activité du pipeline FP32. Pipe Fp16 Active Ratio : Taux d'activité du pipeline FP16. Pipe Tensor Active Ratio : Taux d'activité du pipeline Tensor.
Tflops Usage	Volume de calcul en Tflops (Tera floating-point operations per second) des pipelines de calcul GPU du service. FP32 Tflops Used : Volume de calcul en Tflops du pipeline FP32. FP16 Tflops Used : Volume de calcul en Tflops du pipeline FP16. Tensor Tflops Used : Volume de calcul en Tflops du pipeline Tensor.
DRAM Active Ratio	Taux d'activité de l'interface mémoire du dispositif GPU lors de l'envoi ou de la réception de données.
SM Clock	Fréquence d'horloge des SM du service.
GPU Temperature	Métriques liées à la température du GPU du service. GPU Temperature : Température du GPU. GPU Slowdown Temperature : Seuil de température de throttling du GPU. Lorsque la température du GPU atteint cette valeur, le GPU réduit automatiquement sa fréquence de fonctionnement pour éviter la surchauffe. GPU Shutdown Temperature : Seuil de température d'arrêt du GPU. Lorsque la température du GPU atteint cette valeur, le système force l'arrêt du dispositif GPU. Cela permet d'éviter les dommages matériels ou des pannes système plus graves dues à la surchauffe du GPU.
Power Usage	Consommation électrique du GPU du service.

Les métriques suivantes concernent l'état de santé et les anomalies du GPU :

Metric	Description
GPU Health Count	Nombre de cartes GPU saines pour le service.
GPU Lost Card Num	Nombre de cartes GPU perdues pour le service.
ECC Error Count	Nombre d'erreurs ECC pour le service. L'ECC (Error Correction Code) détecte et corrige les erreurs lors de la transmission ou du stockage des données en mémoire GPU. Volatile SBE ECC Error : Nombre d'erreurs ECC volatiles à bit unique pour le service. Volatile DBE ECC Error : Nombre d'erreurs ECC volatiles à double bit pour le service. Aggregate SBE ECC Error : Nombre d'erreurs ECC persistantes à bit unique pour le service. Aggregate DBE ECC Error : Nombre d'erreurs ECC persistantes à double bit pour le service. Uncorrectable ECC Error : Nombre d'erreurs ECC non corrigibles pour le service.
NVSwitch Error Count	Nombre d'erreurs NVSwitch pour le service. NVSwitch fournit des canaux de communication à haut débit et à faible latence pour les communications haute vitesse entre plusieurs GPU. NVSwitch Fatal Error : Nombre d'erreurs NVSwitch fatales pour le service. NVSwitch Non-Fatal Error : Nombre d'erreurs NVSwitch non fatales pour le service.
Xid Error Count	Nombre d'erreurs Xid pour le service. Les erreurs Xid sont des codes d'erreur signalés par le pilote GPU. Elles indiquent les problèmes rencontrés par le GPU pendant son fonctionnement. Ces erreurs sont généralement enregistrées dans les journaux système (comme dmesg sous Linux ou l'Observateur d'événements sous Windows) et représentées sous forme de codes Xid. Xid Error : Nombre d'erreurs Xid non fatales pour le service. Fatal Xid Error : Nombre d'erreurs Xid fatales pour le service.
Kernel Error Count	Nombre d'erreurs non-Xid pour le service. Les erreurs non-Xid désignent d'autres types d'erreurs signalées dans les journaux du noyau, à l'exclusion des erreurs Xid.
Driver Hang	Nombre de blocages du pilote GPU pour le service.
Remap Status	État du service lorsque le GPU tente de remapper les lignes de mémoire GPU.

Métriques de surveillance LLM

Les métriques de surveillance LLM s'affichent dans le tableau de bord LLM ou LLM Instance, que le service utilise le moteur vLLM ou SGLang. Consultez les métriques de surveillance correspondantes en fonction du moteur utilisé.

Prérequis

Les tableaux de bord LLM s'affichent lorsque l'une des conditions suivantes est remplie :

Une image officielle PAI-EAS est utilisée.
ServiceEngineType est défini sur sglang ou vllm dans les libellés du service. Exemple :
```
{
  "labels": {
    "ServiceEngineType": "sglang"
  }
}
```

Remarque :

Le backend EAS appelle le endpoint /metrics du moteur toutes les 10 à 15 secondes pour collecter les métriques Prometheus. Par conséquent, des entrées /metrics 200 apparaissent régulièrement dans les journaux du service.
Les métriques au niveau de la minute sont conservées pendant un mois maximum.

Règles d'agrégation multi-instances

Pour les services multi-instances, les métriques de débit, de nombre et de capacité sont additionnées sur toutes les instances. Les métriques de ratio, d'utilisation et de latence moyenne sont moyennées sur toutes les instances.

Tableau de bord de surveillance SGLang

Requêtes

Métrique	Description	Métrique Prometheus
Requêtes en cours d'exécution et en attente	Nombre de requêtes à un instant donné. En cours d'exécution : Nombre de requêtes actuellement exécutées sur le GPU (concurrence en temps réel). En attente : Nombre de requêtes dans la file d'attente. Une valeur constamment supérieure à 0 indique une surcharge. Pour les services multi-instances, cette métrique est la somme des valeurs de toutes les instances.	`sglang:num_running_reqs` `sglang:num_queue_reqs`
Taux de requêtes (succès/abandon/échec)	Taux de requêtes à un instant donné, exprimé en requêtes par seconde. requêtes : Taux de requêtes terminées. abandons : Taux de requêtes abandonnées en raison d'une déconnexion du client, d'un délai d'expiration ou d'un abandon explicite. transfer_failed : Taux de requêtes ayant rencontré des échecs de transfert du cache KV en mode de désagrégation PD. failed_session_recoveries : Taux de récupérations de sessions de transport Mooncake (supprimées de la liste de blocage) en mode de désagrégation PD. Pour les services multi-instances, cette métrique est la somme des valeurs de toutes les instances.	`sglang:num_requests_total` `sglang:num_aborted_requests_total` `sglang:num_transfer_failed_reqs_total` `sglang:failed_session_recoveries_total`
Taux de jetons d'invite et de génération	Taux de jetons d'entrée et de sortie à un instant donné. TPS_IN : Nombre de jetons d'entrée (Prefill) traités par seconde. TPS_OUT : Nombre de jetons de sortie (Decode) générés par seconde. Pour les services multi-instances, cette métrique est la somme des valeurs de toutes les instances.	`sglang:prompt_tokens_total` `sglang:generation_tokens_total`

Latence

Métrique	Description	Métrique Prometheus
Temps d'attente en file	Latence d'attente en file pour toutes les requêtes à un instant donné, mesurée entre l'entrée de la requête dans la file d'attente et sa planification par l'ordonnanceur pour le calcul. Moyenne : Moyenne pondérée de la latence en file pour toutes les requêtes. P50/P95/P99 : Valeurs percentiles de la latence en file pour toutes les requêtes.	`sglang:queue_time_seconds`
Temps jusqu'au premier jeton	Latence du temps jusqu'au premier jeton (TTFT) pour toutes les requêtes à un instant donné, mesurée entre la réception de la requête et la génération du premier jeton. Moyenne : Moyenne pondérée du TTFT pour toutes les requêtes. P50/P95/P99 : Valeurs percentiles du TTFT pour toutes les requêtes.	`sglang:time_to_first_token_seconds`
Temps par jeton de sortie	Latence du temps par jeton de sortie (TPOT/ITL) pour toutes les requêtes à un instant donné, correspondant au temps nécessaire pour chaque jeton de sortie suivant après la génération du premier jeton. Moyenne : Moyenne pondérée du TPOT pour toutes les requêtes. P50/P95/P99 : Valeurs percentiles du TPOT pour toutes les requêtes.	`sglang:inter_token_latency_seconds`
Latence de bout en bout de la requête	Latence de bout en bout pour toutes les requêtes à un instant donné, mesurée entre la réception de la requête et le retour de tous les jetons. Moyenne : Moyenne pondérée de la latence de bout en bout pour toutes les requêtes. P50/P95/P99 : Valeurs percentiles de la latence de bout en bout pour toutes les requêtes. Remarque Cette métrique est fournie par le moteur SGLang. La métrique RT du tableau de bord de surveillance du service est fournie par le moteur EAS (easworker). Pour les scénarios LLM, cette métrique est recommandée.	`sglang:e2e_request_latency_seconds`
Latence par étape PD (moyenne)	Temps moyen passé dans chaque étape de traitement à un instant donné, affiché sous forme de courbes distinctes selon le libellé `stage`. Utilisez cette métrique pour identifier l'étape qui consomme le plus de latence. Les étapes courantes incluent : `tokenize` (tokenisation), `api_server_dispatch` (répartition API Server), `dpc_dispatch` (répartition contrôleur DP), `request_process` (réception et traitement par l'ordonnanceur) `prefill_waiting`/`decode_waiting` (attente en file) `prefill_forward`/`prefill_chunked_forward`/`decode_forward`/`decode_loop` (calcul forward) `mm_encode` (encodage multimodal) `spec_draft`/`spec_verify` (ébauche et vérification du décodage spéculatif) Étapes de désagrégation PD : `prefill_bootstrap`/`prefill_transfer_kv_cache`/`decode_prealloc`/`decode_bootstrap`/`decode_transferred`	`sglang:per_stage_req_latency_seconds`

Distribution de la longueur des jetons

Métrique	Description	Métrique Prometheus
Longueur des jetons d'invite	Distribution des longueurs de jetons d'entrée pour toutes les requêtes à un instant donné. Moyenne : Longueur moyenne pondérée des jetons d'entrée. P50/P95/P99 : Valeurs percentiles de la longueur des jetons d'entrée.	`sglang:prompt_tokens_histogram`
Longueur des jetons d'invite non mis en cache	Distribution des longueurs de jetons d'entrée qui n'ont pas atteint le cache et nécessitent un calcul effectif à un instant donné (égale à la longueur des jetons d'entrée moins la longueur des jetons atteints par le cache de préfixe). Cette métrique représente la charge de calcul réelle de l'étape Prefill. Moyenne : Longueur moyenne pondérée des jetons d'entrée non mis en cache. P50/P95/P99 : Valeurs percentiles de la longueur des jetons d'entrée non mis en cache.	`sglang:uncached_prompt_tokens_histogram`
Longueur des jetons de génération	Distribution des longueurs de jetons de sortie pour toutes les requêtes à un instant donné. Moyenne : Longueur moyenne pondérée des jetons de sortie. P50/P95/P99 : Valeurs percentiles de la longueur des jetons de sortie.	`sglang:generation_tokens_histogram`

Débit de jetons

Métrique

Description

Métrique Prometheus

Taux de jetons par phase (Prefill/Decode)

Taux de traitement des jetons par phase à un instant donné, affiché sous forme de courbes distinctes selon le libellé mode.

prefill_compute : Taux de jetons effectivement calculés pendant l'étape Prefill.
prefill_cache : Taux de jetons servis depuis les hits du cache de préfixe pendant l'étape Prefill (aucun calcul requis).
decode : Taux de jetons générés pendant l'étape Decode.

Pour les services multi-instances, cette métrique est la somme des valeurs de toutes les instances.

sglang:realtime_tokens_total

Somme des longueurs de séquence Decode

Somme de toutes les longueurs de séquence dans les lots Decode à un instant donné. Cela reflète l'échelle de lecture réelle du calcul Attention pendant l'étape Decode.

Pour les services multi-instances, cette métrique est la somme des valeurs de toutes les instances.

sglang:decode_sum_seq_lens

Hiérarchie du cache

Métrique	Description	Métrique Prometheus
Taux de hit du cache de préfixe	Taux moyen de hit du cache de préfixe pour toutes les requêtes à un instant donné. Pour les services multi-instances, cette métrique est la moyenne des valeurs de toutes les instances.	`sglang:cache_hit_rate`
Jetons d'invite mis en cache par source	Taux de jetons d'entrée mis en cache à un instant donné, affiché sous forme de courbes distinctes selon le libellé `cache_source` pour montrer les niveaux de hiérarchie du cache. device : Hits du cache de préfixe dans la mémoire GPU (L1). host : Hits du cache mémoire hôte HiCache (L2). storage_<backend> : Hits du backend de stockage externe HiCache (L3), avec le suffixe du nom du backend. Pour les services multi-instances, cette métrique est la somme des valeurs de toutes les instances.	`sglang:cached_tokens_total`
Taux de hit du cache par source	Taux de hit du cache par niveau de hiérarchie à un instant donné. Calcul : taux de jetons pour chaque niveau ÷ taux total de jetons d'entrée. Les valeurs sont normalisées entre 0 et 1. <cache_source> ratio : Taux de hit pour chaque niveau (device/host/storage_<backend>). uncached : Ratio de jetons d'entrée n'ayant atteint aucun niveau de cache et nécessitant un calcul effectif.	`sglang:cached_tokens_total` `sglang:prompt_tokens_total`
Jetons hôte HiCache	Seuil de jetons du cache mémoire hôte HiCache (L2) à un instant donné. Affiché uniquement lorsque HiCache est activé. used : Nombre de jetons utilisés dans le cache hôte. total : Capacité totale en jetons du cache hôte. Pour les services multi-instances, cette métrique est la somme des valeurs de toutes les instances.	`sglang:hicache_host_used_tokens` `sglang:hicache_host_total_tokens`
Durée d'éviction (GPU→CPU)	Temps nécessaire pour évicter le cache KV du GPU vers la mémoire hôte à un instant donné. Moyenne : Durée moyenne pondérée de l'éviction. P99 : 99e percentile de la durée d'éviction.	`sglang:eviction_duration_seconds`
Durée de rechargement (CPU→GPU)	Temps nécessaire pour recharger le cache KV de la mémoire hôte vers le GPU à un instant donné. Cette durée s'ajoute directement au TTFT des requêtes qui atteignent le cache L2. Moyenne : Durée moyenne pondérée du rechargement. P99 : 99e percentile de la durée de rechargement.	`sglang:load_back_duration_seconds`
Flux de jetons du cache (L1↔L2↔L3)	Taux de flux de jetons du cache KV entre les trois niveaux de stockage à un instant donné. Utilisez cette métrique pour déterminer la direction et la pression du mouvement des données HiCache. L3→L2 prefetched (storage→host) : Taux de jetons préchargés depuis le stockage externe vers la mémoire hôte. L2→L1 load_back (host→GPU) : Taux de jetons rechargés depuis la mémoire hôte vers le GPU. L2→L3 backuped (host→storage) : Taux de jetons sauvegardés depuis la mémoire hôte vers le stockage externe. L1→L2 evicted (GPU→host) : Taux de jetons évincés du GPU vers la mémoire hôte. Pour les services multi-instances, cette métrique est la somme des valeurs de toutes les instances.	`sglang:prefetched_tokens_total` `sglang:load_back_tokens_total` `sglang:backuped_tokens_total` `sglang:evicted_tokens_total`

Pool de cache KV

Les panneaux suivants affichent la composition et la pression de chaque pool de mémoire selon la dimension des emplacements et la dimension de l'utilisation. Pour les services multi-instances, les métriques d'emplacement sont la somme des valeurs de toutes les instances, tandis que les métriques d'utilisation et de ratio sont la moyenne des valeurs de toutes les instances.

Métrique	Description	Métrique Prometheus
Pool de jetons du cache KV	Composition des emplacements du pool principal de cache KV à un instant donné. available : Nombre d'emplacements de jetons totalement inactifs pouvant être alloués directement. evictable : Nombre d'emplacements de jetons occupés par le cache de préfixe Radix pouvant être évincés et réutilisés si nécessaire. used : Nombre d'emplacements de jetons actuellement occupés par les requêtes en cours d'exécution. Remarque Il est normal que `available` soit égal à 0 tandis que `evictable` est élevé. Cela indique que la mémoire GPU est entièrement utilisée par le cache de préfixe. Ce n'est que lorsque `available` et `evictable` tendent tous deux vers 0 qu'une véritable pénurie de mémoire GPU est indiquée.	`sglang:kv_available_tokens` `sglang:kv_evictable_tokens` `sglang:kv_used_tokens`
Pool de jetons SWA	Composition des emplacements du pool d'attention à fenêtre glissante (SWA) à un instant donné, avec des courbes available/evictable/used. Les significations sont identiques à celles ci-dessus. Affiché uniquement pour les modèles hybrides SWA.	`sglang:swa_available_tokens` `sglang:swa_evictable_tokens` `sglang:swa_used_tokens`
Pool Mamba SSM	Composition des emplacements du pool d'état Mamba SSM à un instant donné, avec des courbes available/evictable/used. Les significations sont identiques à celles ci-dessus. Affiché uniquement pour les modèles SSM hybrides (Mamba/GDN/KDA). Remarque Les emplacements de ce pool sont alloués par requête plutôt que par jeton. Il s'agit d'une contrainte matérielle courante pour la concurrence dans les modèles hybrides.	`sglang:mamba_available_tokens` `sglang:mamba_evictable_tokens` `sglang:mamba_used_tokens`
Jetons utilisés du cache KV	Nombre de jetons du cache KV utilisés à un instant donné. Pour les services multi-instances, cette métrique est la somme des valeurs de toutes les instances.	`sglang:num_used_tokens`
Taux d'utilisation du cache KV	Utilisation moyenne des jetons du cache KV à un instant donné. Une valeur constamment proche de 1 indique que le pool de mémoire GPU est devenu un goulot d'étranglement pour le débit, ce qui déclenche la mise en file d'attente ou la rétractation des requêtes. Pour les services multi-instances, cette métrique est la moyenne des valeurs de toutes les instances.	`sglang:token_usage`
Utilisation KV par pool (Full/SWA/Mamba)	Utilisation moyenne de chaque pool de mémoire à un instant donné. Utilisez cette métrique pour les modèles d'attention hybride afin d'identifier quel pool se sature en premier. full : Utilisation du pool KV de la couche d'attention complète. swa : Utilisation du pool KV de la couche d'attention à fenêtre glissante (SWA). Affiché uniquement pour les modèles hybrides SWA. mamba : Utilisation du pool d'état de la couche d'attention linéaire/Mamba. Affiché uniquement pour les modèles SSM hybrides. pending_prealloc : Ratio de jetons pré-réservés mais pas encore pré-alloués en mode de désagrégation PD. Pour les services multi-instances, cette métrique est la moyenne des valeurs de toutes les instances.	`sglang:full_token_usage` `sglang:swa_token_usage` `sglang:mamba_usage` `sglang:pending_prealloc_token_usage`

Transfert KV

Les panneaux suivants contiennent des données uniquement lorsque le service est déployé en mode de désagrégation PD (désagrégation Prefill/Decode). Pour les services multi-instances, les métriques de latence sont des moyennes pondérées de toutes les instances.

Métrique	Description	Métrique Prometheus
Latence du transfert KV	Temps nécessaire pour transférer le cache KV des instances Prefill vers les instances Decode à un instant donné, en millisecondes. Moyenne : Durée moyenne pondérée du transfert. P50/P95/P99 : Valeurs percentiles de la durée du transfert.	`sglang:kv_transfer_latency_ms`
Total Mo du transfert KV	Taille des données d'un seul transfert KV à un instant donné, en Mo. Moyenne : Taille moyenne pondérée des données par transfert. P99 : 99e percentile de la taille des données par transfert.	`sglang:kv_transfer_total_mb`
Vitesse du transfert KV	Bande passante du transfert KV à un instant donné. Moyenne : Bande passante moyenne pondérée du transfert. P99 : 99e percentile de la bande passante du transfert.	`sglang:kv_transfer_speed_gb_s`
Initialisation du transfert KV	Temps d'établissement de la connexion de handshake (initialisation) du transfert KV à un instant donné, en millisecondes. Une valeur élevée indique généralement des problèmes d'échange de métadonnées ou de connexion réseau entre les instances Prefill et Decode, plutôt que des problèmes de bande passante. Moyenne : Durée moyenne pondérée de l'établissement de la connexion. P50/P95/P99 : Valeurs percentiles de la durée d'établissement de la connexion.	`sglang:kv_transfer_bootstrap_ms`
Attente d'allocation du transfert KV	Temps pendant lequel les instances Decode attendent l'allocation de la mémoire GPU pour recevoir le cache KV à un instant donné, en millisecondes. Une valeur élevée indique une contention de la mémoire GPU côté Decode, ce qui signale un déséquilibre du ratio du cluster PD. Moyenne : Durée moyenne pondérée de l'attente. P99 : 99e percentile de la durée d'attente.	`sglang:kv_transfer_alloc_ms`

Décodage spéculatif

Les panneaux suivants contiennent des données uniquement lorsque le décodage spéculatif est activé. Les panneaux sont affichés sous forme de courbes distinctes selon pp_rank/moe_ep_rank (format de légende : pp{pp_rank}/ep{moe_ep_rank}). Chaque courbe est la moyenne de toutes les instances.

Métrique	Description	Métrique Prometheus
Longueur d'acceptation spéculative (draft→target)	Longueur moyenne d'acceptation du décodage spéculatif à un instant donné (τ dans l'article), correspondant au nombre de jetons effectivement produits par étape de vérification, y compris le jeton bonus que le modèle cible produit toujours. Une valeur de 1 signifie que le décodage spéculatif n'a aucun effet (seul le jeton bonus est produit par étape). Une valeur plus élevée indique une accélération plus importante.	`sglang:spec_accept_length`
Taux d'acceptation spéculative	Taux d'acceptation de l'ébauche du décodage spéculatif à un instant donné (α dans l'article). Calcul : jetons d'ébauche acceptés ÷ jetons d'ébauche proposés, en excluant les jetons bonus. Cela reflète la proximité entre la distribution du modèle d'ébauche et celle du modèle cible.	`sglang:spec_accept_rate`
Étapes spéculatives et jetons d'ébauche	Paramètres de configuration actifs du décodage spéculatif à un instant donné. steps : Étapes spéculatives actuelles (`speculative_num_steps`). draft_tokens : Nombre actuel de jetons d'ébauche (`speculative_num_draft_tokens`). Lorsque `topk > 1`, cette valeur est découplée du nombre d'étapes. Remarque Lorsque le décodage spéculatif adaptatif est activé, cette configuration change dynamiquement avec la charge de travail. Comparez-la avec la courbe de longueur d'acceptation pour déterminer si la stratégie adaptative est appropriée.	`sglang:spec_num_steps` `sglang:spec_num_draft_tokens`

Ordonnancement

Metric	Description	Prometheus metric
Queue Reqs by PD Stage	Nombre de requêtes dans chaque file d'attente de désagrégation PD à un instant donné. Utilisez cette métrique pour identifier l'étape du pipeline PD où les requêtes s'accumulent. prefill_bootstrap : Requêtes en attente de l'établissement de la connexion handshake côté Prefill. prefill_inflight : Requêtes dont le cache KV est en cours de transfert côté Prefill. decode_prealloc : Requêtes en attente de la pré-allocation de la mémoire GPU côté Decode. decode_transfer : Requêtes en attente de la fin du transfert du cache KV côté Decode. Pour les services multi-instances, cette métrique correspond à la somme des valeurs de toutes les instances.	`sglang:num_prefill_bootstrap_queue_reqs` `sglang:num_prefill_inflight_queue_reqs` `sglang:num_decode_prealloc_queue_reqs` `sglang:num_decode_transfer_queue_reqs`
SLO Utilization	Niveau de charge par rapport à la capacité SLO à un instant donné. Calcul : `max(requêtes en cours d'exécution ÷ concurrence maximale sous SLO, utilisation du cache KV ÷ 0,9)`. Cette métrique peut servir de référence pour l'Auto Scaling. Pour les services multi-instances, cette métrique correspond à la moyenne des valeurs de toutes les instances.	`sglang:utilization`
CUDA Graph Passes	Taux de passes forward classées selon leur statut de hit CUDA Graph à un instant donné, représenté par des courbes distinctes selon le libellé `mode`. decode_cuda_graph/decode_none : Taux de passes forward Decode avec/sans hit CUDA Graph. prefill_cuda_graph/prefill_none : Taux de passes forward Prefill avec/sans hit CUDA Graph. Remarque Un ratio `*_none` élevé indique que les formes de lot (batch shapes) sortent fréquemment des Graphs capturés. Vous pouvez optimiser ce point en ajustant la liste des tailles de lot pour la capture CUDA Graph. Pour les services multi-instances, cette métrique correspond à la somme des valeurs de toutes les instances.	`sglang:cuda_graph_passes_total`
Forward Occupancy	Occupation GPU liée au calcul forward à un instant donné. Calcul : temps d'exécution forward sur GPU ÷ temps horloge réelle dans la fenêtre statistique. Plage de valeurs : 0 à 100. Une valeur faible indique une surcharge de planification CPU ou un temps d'inactivité du GPU. Il s'agit de la première métrique à vérifier lorsque le débit ne répond pas aux attentes. Remarque Les données sont disponibles uniquement lorsque le minuteur de périphérique côté moteur est activé. Une fois le service inactif, cette valeur est définie sur NaN afin d'éviter de fausser les statistiques. Pour les services multi-instances, cette métrique correspond à la moyenne des valeurs de toutes les instances.	`sglang:fwd_occupancy`
New Token Ratio	Ratio de quota de nouveaux tokens du planificateur à un instant donné. Cette valeur constitue un coefficient de prudence adaptatif face à la pression sur la mémoire GPU : il diminue lorsque la mémoire GPU est saturée pour réduire l'admission de nouvelles requêtes et éviter les rétractations, puis revient progressivement à 1 lorsque la pression se relâche. Pour les services multi-instances, cette métrique correspond à la moyenne des valeurs de toutes les instances.	`sglang:new_token_ratio`
CUDA Graph Active	Indique si les lots s'exécutent sur CUDA Graph à un instant donné. La valeur 1 signifie activé, 0 signifie repli vers le mode eager. Pour les services multi-instances, cette métrique correspond à la moyenne des valeurs de toutes les instances (ce qui peut être interprété comme le ratio d'instances ayant CUDA Graph activé).	`sglang:is_cuda_graph`

HTTP

Metric

Description

Prometheus metric

HTTP Requests Rate

Taux de requêtes regroupées par méthode de requête et chemin à un instant donné, exprimé en requêtes par seconde.

Pour les services multi-instances, cette métrique correspond à la somme des valeurs de toutes les instances.

sglang:http_requests_total

HTTP Responses Rate by Status

Taux de réponses regroupées par chemin et code d'état de réponse à un instant donné, exprimé en requêtes par seconde. Utilisez cette métrique pour distinguer les erreurs client (4xx) des erreurs serveur (5xx).

Pour les services multi-instances, cette métrique correspond à la somme des valeurs de toutes les instances.

sglang:http_responses_total

HTTP Active Requests

Nombre de requêtes en cours (non encore retournées) regroupées par méthode de requête et chemin à un instant donné. Cette métrique comptabilise les requêtes en cours au niveau HTTP, y compris celles encore en file d'attente qui n'ont pas pénétré dans le moteur. Par conséquent, cette valeur est généralement supérieure à Running Reqs.

Pour les services multi-instances, cette métrique correspond à la somme des valeurs de toutes les instances.

sglang:http_requests_active

System & Engine

Metric	Description	Prometheus metric
Disaggregation Routing Keys	Nombre de clés de routage à un instant donné. Utilisez cette métrique pour observer la distribution de la désagrégation PD ou du routage par affinité multi-instance. routing_keys_active : Nombre de clés de routage uniques associées à des requêtes en cours au niveau HTTP. unique_running_routing_keys : Nombre de clés de routage uniques dans le lot en cours d'exécution actuel. Pour les services multi-instances, cette métrique correspond à la somme des valeurs de toutes les instances.	`sglang:routing_keys_active` `sglang:num_unique_running_routing_keys`
Process CPU by Component	Cœurs CPU (utilisateur + noyau) consommés par chaque processus moteur à un instant donné, représenté par des courbes distinctes selon le libellé `component` (`tokenizer`, `detokenizer`, `data_parallel_controller`). Utilisez cette métrique pour identifier les goulots d'étranglement côté CPU. Par exemple, si le tokenizer sature un seul cœur, le débit global est directement limité. Pour les services multi-instances, cette métrique correspond à la somme des valeurs de toutes les instances.	`sglang:process_cpu_seconds_total`
Engine Meta	Informations statiques de configuration et de démarrage du moteur du service. Utilisez cette métrique pour vérifier si les paramètres réels correspondent aux attentes. max_total_num_tokens : Capacité maximale en tokens du pool de cache KV. num_pages : Nombre de pages de cache KV. page_size : Taille de page du cache KV (nombre de tokens). context_len : Longueur de contexte maximale du modèle. startup_available_gpu_memory_gb : Mémoire GPU disponible au démarrage (Go), somme de toutes les instances. engine_startup_time : Durée totale de démarrage du moteur (secondes). engine_load_weights_time : Durée de chargement des poids du modèle (secondes). À l'exception des éléments liés à la mémoire, toutes les métriques prennent la valeur maximale parmi toutes les instances.	`sglang:max_total_num_tokens` `sglang:num_pages` `sglang:page_size` `sglang:context_len` `sglang:startup_available_gpu_memory_gb` `sglang:startup_time_seconds`
Request State (retracted/paused)	Nombre de requêtes dans des états d'exécution anormaux à un instant donné. retracted : Nombre de requêtes rétractées vers la file d'attente en raison d'un manque de mémoire GPU et qui doivent être pré-remplies à nouveau. Une valeur constamment supérieure à 0 signifie que les ressources de calcul sont gaspillées par des calculs redondants. Envisagez de réduire la concurrence ou de procéder à une mise à l'échelle verticale. paused : Nombre de requêtes mises en pause en raison de la synchronisation asynchrone des poids (par exemple, mises à jour des poids dans les scénarios RLHF). Pour les services multi-instances, cette métrique correspond à la somme des valeurs de toutes les instances.	`sglang:num_retracted_reqs` `sglang:num_paused_reqs`

Common troubleshooting paths

Symptom

Recommended check order

High TTFT

Queue Time → Waiting Reqs → Uncached Prompt Tokens Length → Prefix Cache Hit Rate → Load Back Duration

High TPOT

Running Reqs (concurrence excessive) → Decode Sum Seq Lens → KV Cache Usage Ratio → Forward Occupancy → decode_none ratio in CUDA Graph Passes

Low throughput but GPU utilization is not high

Forward Occupancy → Process CPU by Component → CUDA Graph Passes → New Token Ratio

GPU memory shortage / requests retracted

retracted in Request State → KV Cache Tokens Pool (vérifiez si available et evictable tombent tous deux à zéro) → KV Usage by Pool → New Token Ratio

Hybrid attention model cannot scale up concurrency

KV Usage by Pool (comparez full/swa/mamba) → Mamba SSM Pool

PD disaggregation pipeline is slow

Queue Reqs by PD Stage → KV Transfer Bootstrap → KV Transfer Latency/Speed → KV Transfer Alloc Wait

Speculative decoding provides no speedup

Spec Accept Length (proche de 1 ?) → Spec Accept Rate → Spec Steps & Draft Tokens

Find the recent maximum concurrency

Change the time range and then find the peak of the Running curve in Running & Waiting Reqs

Tableau de bord de surveillance VLLM

Pour les services multi-instances, les métriques de débit sont additionnées et les métriques de latence sont moyennées sur l'ensemble des instances.

Metric	Description
Requests Status	Nombre total de requêtes pour le service. Running : nombre de requêtes en cours d'exécution sur le GPU. Waiting : nombre de requêtes en attente de traitement. Swapped : nombre de requêtes transférées vers le CPU.
Token Throughput	Nombre de jetons d'entrée et de jetons générés pour toutes les requêtes du service. TPS_IN : nombre de jetons d'entrée. TPS_OUT : nombre de jetons de sortie.
Request Completion Status	Statistiques d'état d'achèvement pour toutes les requêtes du service. preemptions : requêtes préemptées. stop : requêtes achevées avec succès suite à une terminaison naturelle (le modèle a émis un jeton d'arrêt, tel que <EOS>). length : requêtes ayant atteint la longueur maximale de jetons de sortie. abort : requêtes arrêtées de force.
Time To First Token	Latence du temps jusqu'au premier jeton pour toutes les requêtes du service (délai entre la réception d'une requête et la génération du premier jeton). Avg : latence moyenne du temps jusqu'au premier jeton pour toutes les requêtes. TPXX : valeurs de centile pour la latence du temps jusqu'au premier jeton pour toutes les requêtes.
Time Per Output Token	Latence du temps par jeton de sortie pour toutes les requêtes du service (temps moyen requis pour chaque jeton de sortie après la génération du premier jeton). Avg : latence moyenne du temps par jeton pour toutes les requêtes. TPXX : valeurs de centile pour la latence du temps par jeton pour toutes les requêtes.
E2E Request Latency	Latence de bout en bout pour toutes les requêtes du service (délai entre la réception d'une requête et le retour de tous les jetons). Avg : latence moyenne de bout en bout pour toutes les requêtes. TPXX : valeurs de centile pour la latence de bout en bout pour toutes les requêtes.
Queue Time	Latence d'attente dans la file pour toutes les requêtes du service (temps pendant lequel les requêtes attendent dans la file pour être traitées par le moteur). Avg : latence moyenne d'attente dans la file pour toutes les requêtes. TPXX : valeurs de centile pour la latence d'attente dans la file pour toutes les requêtes.
Inference Time	Latence d'inférence pour toutes les requêtes du service (temps de traitement des requêtes par le moteur). Avg : latence moyenne d'inférence pour toutes les requêtes. TPXX : valeurs de centile pour la latence d'inférence pour toutes les requêtes.
Prefill Time	Latence de la phase de préremplissage pour toutes les requêtes du service (temps nécessaire au moteur pour traiter les jetons d'entrée de la requête). Avg : latence moyenne de préremplissage pour toutes les requêtes. TPXX : valeurs de centile pour la latence de préremplissage pour toutes les requêtes.
Decode Time	Latence de la phase de décodage pour toutes les requêtes du service (temps nécessaire au moteur pour générer les jetons de sortie). Avg : latence moyenne de décodage pour toutes les requêtes. TPXX : valeurs de centile pour la latence de décodage pour toutes les requêtes.
Input Token Length	Nombre de jetons d'entrée traités par le service. Avg : longueur moyenne des jetons d'entrée pour toutes les requêtes. TPXX : valeurs de centile pour la longueur des jetons d'entrée pour toutes les requêtes.
Output Token Length	Nombre de jetons de sortie générés par le service. Avg : longueur moyenne des jetons de sortie pour toutes les requêtes. TPXX : valeurs de centile pour la longueur des jetons de sortie pour toutes les requêtes.
Request Parameters(params_n & max_tokens)	Paramètre N et paramètre max_tokens pour toutes les requêtes du service. Params_n : valeur moyenne du paramètre N pour toutes les requêtes. Params_max_tokens : valeur moyenne du paramètre max_tokens pour toutes les requêtes.
GPU KV Cache Usage	Utilisation moyenne du cache KV GPU du service.
CPU KV Cache Usage	Utilisation moyenne du cache KV CPU du service.
Prefix Cache Hit Rate	Taux moyen de succès du cache de préfixe pour toutes les requêtes du service. GPU : taux moyen de succès du cache de préfixe GPU pour toutes les requêtes. CPU : taux moyen de succès du cache de préfixe CPU pour toutes les requêtes.
HTTP Requests by Endpoint	Nombre de requêtes pour le service, regroupées par méthode de requête, chemin et code d'état de la réponse.
HTTP Request Latency	Latence moyenne pour les différents chemins de requête du service.
Speculative Decoding Throughput	Nombre de décodages spéculatifs pour le service. Moyenné sur les instances pour les services multi-instances. Drafts : nombre de jetons brouillons générés. Draft Tokens : nombre de jetons brouillons traités. Accepted Tokens : nombre de jetons brouillons acceptés. Emitted Tokens : nombre de jetons brouillons émis.
Speculative Decoding Efficiency	Performance du décodage spéculatif du service. Draft Acceptance Rate : ratio moyen de jetons brouillons acceptés. Efficiency : efficacité moyenne du décodage spéculatif.
Token Acceptance by Position	Nombre de jetons brouillons acceptés à différentes positions de génération pour le service. Moyenné sur les instances pour les services multi-instances.

FAQ

Le tableau de bord de surveillance LLM ne s'affiche pas

Problème : après un déploiement EAS personnalisé, la page de surveillance n'affiche que les tableaux de bord Service et GPU. La surveillance LLM est absente.

Cause : il manque le tag ServiceEngineType dans la configuration du service, qui déclare le type de moteur d'inférence.

Remarque

Seul le tag ServiceEngineType affecte la surveillance LLM. Les autres paramètres de déploiement depuis Model Gallery n'ont aucun impact.

Solution : mettez à jour la configuration du service pour ajouter le tag ServiceEngineType et définissez sa valeur en fonction du moteur d'inférence utilisé (seuls vllm et sglang sont pris en charge). Par exemple :

{
  "labels": {
    "ServiceEngineType": "vllm"
  }
}

Q : Pourquoi les codes 200 pour /metrics apparaissent-ils fréquemment dans les journaux ?

Une fois que le tag ServiceEngineType prend effet, le backend EAS interroge le point de terminaison /metrics du framework d'inférence toutes les 10 à 15 secondes sur tous les pods. Ce point de terminaison renvoie des métriques en temps réel au format Prometheus pour le tableau de bord de surveillance LLM.

Q : Comment vérifier la concurrence maximale dans la surveillance ?

La surveillance EAS ne fournit pas de métrique directe « concurrence maximale ». Vous pouvez déterminer la concurrence en fonction du type de service :

Services d'inférence LLM (moteur vllm ou sglang) : basculez vers le VLLM Monitoring Dashboard ou le SGLang Monitoring Dashboard, et consultez la métrique Running sous Requests Status ou Requests Num. Cette métrique indique le nombre de requêtes actuellement en cours d'exécution sur le GPU, ce qui représente la concurrence en temps réel. En modifiant la plage de temps (par exemple, en sélectionnant Last 1 hours ou Last 6 hours), vous pouvez identifier la valeur de crête de la courbe Running, qui correspond à la concurrence maximale sur cette période.
Services généraux : vous pouvez estimer la concurrence à l'aide des métriques QPS (requêtes par seconde) et RT (temps de réponse) du tableau de bord de surveillance du service. Selon la loi de Little : Concurrency ≈ QPS × Average RT (seconds). Par exemple, si le QPS est de 10 et le RT moyen de 2 secondes, la concurrence est d'environ 20. Appliquez cette formule durant les périodes de pointe pour estimer la concurrence maximale.

Q : Quelle est la différence entre E2E Request Latency et RT ?

E2E Request Latency est fournie par le moteur d'inférence LLM, tandis que RT est fournie par le moteur EAS (easworker). Pour les scénarios LLM, il est recommandé d'utiliser E2E Request Latency.

Référence

Après avoir activé les alertes de surveillance des services, vous recevrez des notifications d'alerte lorsque le service déclenchera les règles d'alerte.
Consultez les événements Cloud Monitor EAS via la console Cloud Monitor ou l'opération API pour effectuer des opérations de maintenance, d'audit ou configurer des alertes pour ces événements.
Définissez des métriques de surveillance personnalisées pour Auto Scaling en fonction de la logique métier. Métriques de surveillance et de mise à l'échelle personnalisées.