Una vez que instala un agente de Python para su aplicación de modelo de lenguaje grande (LLM), la función LLM Trace Explorer analiza la información de trazas de la aplicación. En la página LLM Trace Explorer, puede consultar la duración de los distintos tipos de spans dentro de una traza, así como información relacionada con cada span, como la entrada, la salida y el recuento de tokens.
La función LLM Trace Explorer se encuentra actualmente en versión beta. Para probarla, únase al grupo de DingTalk (ID: 67690017432) y solicite asistencia.
Requisitos previos
Ya instaló un agente para su aplicación de LLM. Para obtener instrucciones, consulte Integrate LLM applications and inference services with ARMS.
Filtrar trazas
Inicie sesión en la consola de ARMS.
En el panel de navegación izquierdo, elija LLM Application Monitoring > Trace Explorer.
-
En la página Trace Explorer, utilice el selector de tiempo en la esquina superior derecha para establecer el rango de tiempo de la consulta.
NotaDe forma predeterminada, las aplicaciones de LLM se muestran en la vista Large Language Model (icono
). Para cambiar a la vista de microservicios, haga clic en el icono 
. -
Filtre las trazas.
-
En el área Quick Filter del lado izquierdo, filtre las trazas por estado, duración, tipo de span, nombre de interfaz o nombre de modelo.
Las condiciones de filtro se muestran en el cuadro de texto ubicado en la parte superior de la página.
-
Haga clic en el cuadro de texto superior para modificar las condiciones de filtro existentes o establezca condiciones para otras dimensiones en el panel desplegable.
Entre las condiciones de consulta más comunes se encuentran serviceName (nombre de la aplicación), spanName (nombre de la interfaz), ip (dirección del host), traceId (identificador de la traza) y duration. Seleccione Only show traces with code hotspots, Only show root spans, Only show slow spans u Only show error spans para filtrar los resultados. Las consultas avanzadas admiten filtros por kind (tipo de endpoint) y statusCode (estado). También puede hacer clic en Add query condition para agregar condiciones basadas en atributos o recursos. Para aplicar los filtros, haga clic en Query.
-
Introduzca las condiciones de consulta directamente en el cuadro de texto superior. Para conocer detalles sobre la sintaxis de consulta, consulte Query syntax for Trace Explorer.
NotaHaga clic en el icono
, situado a la derecha del cuadro de texto, para guardar las condiciones de filtro actuales.Haga clic en Saved View, a la derecha del cuadro de texto, para consultar las condiciones de filtro guardadas. Haga clic en una condición de filtro para ver rápidamente la información de traza correspondiente.
Seleccione una dimensión de agregación para agrupar los datos filtrados.
-
Lista de trazas
Después de configurar los filtros, la página Trace Explorer muestra la información de las trazas de LLM filtradas. Esta incluye el recuento de llamadas, el recuento de tokens, los percentiles de duración, la distribución de duración y la lista de trazas.
Arriba de la lista de trazas, cambie entre distintas vistas mediante las pestañas List, scatter plot, cross-trace aggregation, cross-trace topology y slow and error traces. El panel slow trace analysis, ubicado a la derecha, clasifica los factores que contribuyen a la traza más larga según dimensiones como spanName, serviceName y ip.
La lista de trazas muestra el identificador de la traza, el contenido de entrada y salida, el nombre de la interfaz, el tipo de span, la duración, el recuento de tokens, el nombre de la aplicación, el identificador de usuario, el identificador de sesión y la hora de inicio de cada traza. En el área de la lista de trazas, puede realizar las siguientes acciones:
En la columna Actions de una traza, haga clic en Details para consultar todos sus detalles. Para obtener más información, consulte trace details.
En la columna Actions de una traza, haga clic en Log para consultar los registros correspondientes.
Haga clic en el icono
, en la esquina superior derecha, para agregar u ocultar columnas en la lista.Pase el cursor sobre un parámetro de traza y haga clic en el icono
, ubicado a la derecha, para agregar el valor actual del parámetro como condición de filtro.
Detalles de la traza
En el panel de detalles de la traza, consulte la línea de tiempo, la hora de inicio y la duración total de una traza. También encontrará información como el contenido de entrada y salida, el nombre del span, el tipo, el nombre de la aplicación, el recuento de tokens y la duración.
En el panel de detalles de la traza, puede realizar las siguientes acciones:
Pase el cursor sobre la etiqueta del recuento de tokens para consultar los datos detallados de los tokens.
-
Haga clic en el nombre de un span para consultar su duración, hora de inicio, información adicional, métricas y registros. La información que se muestra varía según el tipo de operación.
La información adicional incluye el nombre del modelo, la consulta de entrada, la plantilla de prompt, los parámetros de invocación y los resultados.
Para consultar las descripciones de los campos de atributo, consulte Field definitions for LLM traces.
Documentos relacionados
Para conocer detalles sobre otras funciones de LLM Trace Explorer, consulte LLM Trace Explorer.