Este tema describe las métricas principales de los modelos de lenguaje grandes (LLM) que puede utilizar para personalizar los paneles de Grafana.
Etiquetas comunes
Descripción de la dimensión | Clave de la dimensión | Ejemplo |
Nombre del servicio | service | llm-rag-demo |
PID del servicio | pid | ggxw4lnjuz@0cb8619bb54**** |
Dirección IP del servidor | serverIp | 127.0.0.1 |
Interfaz | rpc | query |
Origen de la aplicación | source |
|
Métricas de solicitud
Por diseño, las métricas de solicitud cubren los protocolos y tipos de invocación compatibles con la instrumentación, como los servicios proporcionados y dependientes. Para obtener más información, consulte Application Monitoring metrics.
Descripción de la métrica | Nombre de la métrica | Medición | Intervalo de recopilación (unidad: segundos) | Unidad | Dimensión |
Total de solicitudes | arms_$callType_requests_count | Gauge | 15 | Ninguna | Las dimensiones aplican según el tipo de acceso al servicio. Para obtener más información, consulte Application Monitoring metrics. |
Número de solicitudes con error | arms_$callType_requests_error_count | Gauge | 15 | Ninguna | |
Duración total de las solicitudes | arms_$callType_requests_seconds | Gauge | 15 | Segundos | |
Número de solicitudes lentas | arms_$callType_requests_slow_count | Gauge | 15 | Ninguna |
Métricas de LLM
Además de las etiquetas comunes, también se pueden usar a continuación las etiquetas modelName, spanKind y usageType.
Descripción de la dimensión | Clave de la dimensión | Ejemplo | Observaciones |
Nombre del modelo | modelName |
| Ninguna |
Tipo de operación | spanKind | LLM, CHAIN o EMBEDDING Para obtener más información, consulte LLM trace field definitions. | Ninguna |
Tipo de uso | usageType |
| Disponible solo para las métricas relacionadas con token |
Tipos de operación
Descripción de la métrica | Nombre de la métrica | Medición | Intervalo de recopilación (unidad: minutos) | Unidad | Dimensión |
Número de solicitudes para invocar un LLM | genai_calls_count | Gauge | 1 | Ninguna |
|
Duración de la respuesta al invocar un LLM | genai_calls_duration_seconds | Gauge | 1 | Segundos |
|
Número de errores al invocar un LLM | genai_calls_error_count | Gauge | 1 | Ninguna |
|
Número de invocaciones lentas de LLM | genai_calls_slow_count | Gauge | 1 | Ninguna |
|
Rendimiento de LLM
Descripción de la métrica | Nombre de la métrica | Medición | Intervalo de recopilación (unidad: minutos) | Unidad | Dimensión |
Tiempo hasta el primer token (TTFT) de un LLM | genai_llm_first_token_seconds | Gauge | 1 | Segundos |
|
Uso de LLM
Descripción de la métrica | Nombre de la métrica | Medición | Intervalo de recopilación (unidad: minutos) | Unidad | Dimensión |
Cantidad de token utilizados | genai_llm_usage_tokens | Gauge | 1 | Ninguna |
|