Una vez que instala el agente de Python para su aplicación de Large Language Model (LLM), Application Real-Time Monitoring Service (ARMS) comienza a monitorearla. La página Conversation Analysis muestra las sesiones de un periodo determinado y le permite examinar los detalles de cada una.
Requisitos previos
Debe tener instalado un agente para su aplicación de LLM. Para obtener más información, consulte Integrate an LLM application or inference service with ARMS.
Procedimiento
Inicie sesión en la consola de ARMS. En el panel de navegación izquierdo, elija .
En la página Application List, seleccione una región en la parte superior de la página y luego haga clic en el nombre de su aplicación.
En la barra de navegación superior, haga clic en Conversation Analysis.
Haga clic en el cuadro de búsqueda. En la lista desplegable, filtre las sesiones por criterios como el identificador de sesión, el usuario, la duración de la sesión, el número de trazas, el total de tokens, los tokens de entrada y los tokens de salida.
-
La lista de sesiones muestra la información de cada una, incluidos los campos Duration, Tokens (con los input tokens y output tokens), Number of Traces, User y Start Time.
Haga clic en el nombre de la sesión o en Details, dentro de la columna Actions, para consultar los detalles de la sesión.
Haga clic en un identificador de traza para consultar sus detalles. Para obtener más información, consulte LLM Trace Analysis.
La parte superior de la página de detalles de la sesión muestra métricas resumidas, como Session ID, la duración total, el total de tokens y el número de trazas. La sección Basic Information presenta campos como Start Time, el identificador de usuario y el nombre del modelo. Un diagrama de Gantt, ubicado en la parte central de la página, visualiza la distribución del tiempo de ejecución de cada traza. Debajo del diagrama, las tarjetas de detalle proporcionan el identificador de traza, el recuento de tokens y el desglose del uso de tokens por modelo para cada traza.