Las aplicaciones de Large Language Model (LLM) se basan en modelos entrenados con grandes volúmenes de datos y parámetros para comprender y generar lenguaje natural similar al humano. Estas aplicaciones se utilizan ampliamente en el procesamiento de lenguaje natural, la generación de texto y el diálogo inteligente.
Los resultados de los LLM suelen ser impredecibles debido a diversos desafíos, como las discrepancias entre los resultados del entrenamiento y los de producción, la degradación del rendimiento por cambios en la distribución de datos, la obsolescencia de los datos y la falta de fiabilidad de las fuentes externas. Por lo tanto, es fundamental monitorear la calidad de los resultados del modelo para identificar rápidamente cualquier degradación.
Application Real-Time Monitoring Service (ARMS) admite automatic instrumentation of LLM applications through the ARMS agent for Python. Una vez que integre su aplicación LLM con ARMS, consulte los diagramas de rastreo para analizar las entradas y salidas en los distintos tipos de operación, así como el consumo de tokens.
Temas relacionados con las vistas de monitoreo:
Temas relacionados con métricas y campos: