Después de instalar el agente de Python para su aplicación de modelo de lenguaje grande (LLM), ARMS comienza a monitorear la aplicación. En la página de análisis de rendimiento, puede consultar información como el número de llamadas al modelo, el tiempo promedio de cada llamada y la cantidad de errores en las llamadas al modelo.
Requisitos previos
Debe tener un agente instalado para la aplicación LLM. Para obtener más información, consulte Connect an LLM application or inference service to ARMS.
Análisis de rendimiento de aplicaciones LLM
Inicie sesión en la consola de ARMS. En el panel de navegación izquierdo, elija .
En la página Application List, seleccione una región en la parte superior de la página y haga clic en el nombre de la aplicación objetivo.
-
En la barra de navegación superior, haga clic en Performance analysis.
Panel
Descripción
Number of model calls
Número de llamadas al modelo de lenguaje grande durante el periodo especificado.
Average model call time
Duración promedio de las llamadas al modelo de lenguaje grande durante el periodo especificado.
Number of model call errors
Cantidad de llamadas con errores al modelo de lenguaje grande durante el periodo especificado.
Number of model calls/min
Número de llamadas al modelo de lenguaje grande por minuto.
Average model call time/min
Duración promedio de las llamadas al modelo de lenguaje grande por minuto.
Model call errors/min
Cantidad de llamadas con errores al modelo de lenguaje grande por minuto.
Model latency P99/min
Latencia P99 de las llamadas al modelo de lenguaje grande por minuto. Esto significa que el 99 % de las llamadas se completan en un tiempo menor a este valor.
Average time to first packet/min
Tiempo promedio para recibir el primer paquete de datos del modelo de lenguaje grande por minuto.
P99 time to first packet/min
Tiempo P99 para recibir el primer paquete de datos del modelo de lenguaje grande por minuto.
Top 5 models by calls
Los 5 modelos con más llamadas, ordenados de forma descendente.
Top 5 models by average call time
Los 5 modelos con mayor tiempo promedio de llamada, ordenados de forma descendente.
Top 5 models by call errors
Los 5 modelos con más errores de llamada, ordenados de forma descendente.