Después de instalar el agente de Python para su aplicación de Large Language Model (LLM), ARMS comienza a monitorearla. Use la página de análisis de tokens para comprender el uso de tokens en su aplicación LLM.
En las aplicaciones LLM, un token es la unidad básica para procesar texto y representa la unidad semántica más pequeña de la entrada y salida de un modelo. Un token puede ser una palabra, una subpalabra o un carácter, según el tokenizer del modelo.
Requisitos previos
El agente de su aplicación LLM ya debe estar instalado. Para obtener más información, consulte Connect an LLM application or inference service to ARMS.
Consultar el análisis de tokens
Inicie sesión en la consola de ARMS. En el panel de navegación izquierdo, elija .
En la página Application List, seleccione la región y luego haga clic en el nombre de su aplicación.
-
En la barra de navegación superior, haga clic en token analysis.
Panel
Descripción
token usage
Número total de tokens consumidos por las invocaciones del LLM en el intervalo de tiempo seleccionado.
average tokens per LLM call
Promedio de tokens consumidos por cada invocación del LLM.
average tokens per request
Promedio de tokens consumidos por cada solicitud de usuario.
tokens consumption per minute
Número total de tokens consumidos por minuto en las invocaciones del LLM.
average tokens per LLM call per minute
Promedio de tokens consumidos por minuto en cada invocación del LLM.
average tokens per request per minute
Promedio de tokens consumidos por minuto en cada solicitud de usuario.
token usage model ranking (Top 5)
Muestra los 5 modelos con mayor consumo de tokens, ordenados de forma descendente.
token usage session ranking (Top 5)
Presenta las 5 sesiones con mayor consumo de tokens, ordenadas de forma descendente.
token usage user ranking (Top 5)
Lista los 5 usuarios con mayor consumo de tokens, ordenados de forma descendente.