Todos los productos
Search

Este producto

    Application Real-Time Monitoring Service:Descripción general

    Centro de documentos

    Application Real-Time Monitoring Service:Descripción general

    Última actualización: Sep 28, 2026

    Después de instalar el agente de Python para su aplicación de Large Language Model (LLM), Application Real-Time Monitoring Service (ARMS) comienza a monitorearla. En la página Descripción general, puede consultar las métricas clave de su aplicación LLM, como el número de llamadas al modelo, el uso de tokens, la cantidad de trazas y la cantidad de sesiones.

    Requisitos previos

    El agente debe estar instalado en su aplicación LLM. Para obtener más información, consulte Connect an LLM application or inference service to ARMS.

    Descripción general de la aplicación LLM

    1. Inicie sesión en la consola de ARMS. En el panel de navegación izquierdo, seleccione LLM Application Monitoring > Application list.

    2. En la página Application list, seleccione una región en la parte superior de la página y luego haga clic en el nombre de la aplicación de destino.

    3. En la barra de navegación superior, haga clic en Descripción general.

    Panel

    imagen

    Panel

    Descripción

    Number of model calls

    Número de veces que la aplicación llama al LLM dentro del intervalo de tiempo seleccionado.

    Token usage

    Cantidad de tokens que consume la aplicación dentro del intervalo de tiempo seleccionado.

    Trace count

    Cantidad de trazas que genera la aplicación dentro del intervalo de tiempo seleccionado.

    Span count

    Cantidad de spans que genera la aplicación dentro del intervalo de tiempo seleccionado.

    Session count

    Cantidad de sesiones que inicia la aplicación dentro del intervalo de tiempo seleccionado.

    Number of users

    Total de usuarios únicos que interactúan con la aplicación dentro del intervalo de tiempo seleccionado.

    Operation type distribution

    • CHAIN: herramienta que conecta un LLM con otros componentes para ejecutar tareas complejas. Una CHAIN puede incluir recuperaciones, embeddings, llamadas a LLM e incluso otras CHAIN anidadas.

    • EMBEDDING: proceso de embedding, como la operación que convierte texto en una representación vectorial mediante un modelo de embedding. Esto permite realizar búsquedas por similitud para encontrar contexto relevante.

    • RETRIEVER: operación que accede a un almacenamiento vectorial o a una base de datos para recuperar datos. Se utiliza normalmente para complementar el contexto proporcionado al LLM y mejorar la precisión y relevancia de las respuestas.

    • RERANKER: operación que reordena un conjunto de documentos de entrada según su relevancia respecto a una consulta específica. Puede devolver los K documentos más relevantes para usarlos como contexto de un LLM.

    • LLM: invocación de un Large Language Model. Por ejemplo, llamar a un LLM mediante un SDK o una API para ejecutar inference o generar texto.

    • TOOL: invocación de una herramienta externa, como una calculadora o una API meteorológica, para obtener información específica, por ejemplo, el clima actual.

    • AGENT: agente inteligente, es decir, una CHAIN compleja que usa el razonamiento del LLM para decidir la siguiente acción. Este proceso puede implicar varias llamadas a LLM y TOOL para llegar progresivamente a una respuesta final.

    • TASK: método personalizado definido por el usuario dentro de la aplicación. Por ejemplo, llamar a una función local para aplicar una lógica específica.

    Avg LLM call per request

    Promedio de llamadas al LLM por solicitud, calculado en intervalos de un minuto.

    Request count trend

    Registra la cantidad de solicitudes a la aplicación LLM por minuto.

    Model call ranking

    Enumera los cinco LLM llamados con mayor frecuencia en la aplicación.

    User ranking by request count

    Enumera los cinco usuarios que generaron más solicitudes en la aplicación.

    Session count trend

    Registra la cantidad de sesiones de la aplicación LLM por minuto.

    Referencias