Les applications de grands modèles de langage (LLM) reposent sur des modèles entraînés avec d'immenses volumes de données et de paramètres pour comprendre et générer un langage naturel similaire à celui des humains. Elles sont largement utilisées dans le traitement du langage naturel, la génération de texte et le dialogue intelligent.
Les résultats produits par les LLM sont souvent imprévisibles en raison de défis tels que les écarts entre les performances lors de l'entraînement et celles en production, la dégradation des performances liée aux changements de distribution des données, l'obsolescence des données ou encore la fiabilité incertaine des sources de données externes. Il est donc essentiel de surveiller la qualité des sorties du modèle pour identifier rapidement toute dégradation.
Application Real-Time Monitoring Service (ARMS) prend en charge l'instrumentation automatique des applications LLM via l'agent ARMS pour Python. Une fois votre application LLM intégrée à ARMS, consultez les diagrammes de trace pour analyser les entrées et les sorties selon les différents types d'opérations, ainsi que la consommation de tokens.
Rubriques liées aux vues de surveillance :
Rubriques liées aux métriques et aux champs :