Después de instalar el agente de Python para su aplicación de modelo de lenguaje grande (LLM), Application Real-Time Monitoring Service (ARMS) comienza a monitorear la aplicación. La página Scenario-based analysis muestra una lista de sesiones y el uso del modelo de su aplicación LLM durante un intervalo de tiempo específico.
Requisitos previos
Debe tener instalado el agente para su aplicación LLM. Para obtener instrucciones, consulte Connect an LLM application or inference service to ARMS.
Análisis de sesiones
Haga clic en el cuadro de búsqueda para filtrar las sesiones por criterios como Session ID, User, Session duration, Number of traces, Total tokens, Input tokens y Output tokens.
-
Haga clic en el nombre de una sesión o en Details en la columna Actions para consultar los detalles de la sesión.
Haga clic en un Trace ID para consultar los detalles del rastro. Para obtener más información, consulte LLM trace analysis.
El panel de detalles de la sesión muestra información básica, incluido el Session ID, Session duration, Total tokens, Number of traces, Start time, User ID y Model. El área principal presenta un diagrama de Gantt que visualiza la línea temporal de todos los rastros. Debajo del diagrama, una lista de rastros individuales muestra su contenido de entrada y salida, el Trace ID, el consumo de token y el modelo utilizado.
Análisis de modelos
Seleccione un modelo en la parte superior de la pestaña. Para obtener más información sobre las métricas, consulte LLM metric reference.
