LLM Trace Explorer - Application Real-Time Monitoring Service

Une fois l'agent Python installé pour votre application de grand modèle de langage (LLM), la fonctionnalité LLM Trace Explorer analyse les informations de trace de l'application. Sur la page LLM Trace Explorer, vous pouvez consulter la durée des différents types de spans au sein d'une trace, ainsi que les informations associées telles que l'entrée, la sortie et le nombre de tokens.

Important

La fonctionnalité LLM Trace Explorer est en version bêta. Pour l'essayer, rejoignez le groupe DingTalk (ID : 67690017432) afin d'obtenir de l'aide.

Prérequis

Vous avez installé un agent pour votre application LLM. Pour obtenir des instructions, consultez Intégrer des applications LLM et des services d'inférence avec ARMS.

Filtrer les traces

Connectez-vous à la console ARMS.
Dans le volet de navigation de gauche, choisissez LLM Application Monitoring > Trace Explorer.
Sur la page Trace Explorer, utilisez le sélecteur de temps dans le coin supérieur droit pour définir la plage de temps de votre requête.

Remarque
Par défaut, les applications LLM s'affichent dans la vue Grand modèle de langage (icône ). Pour basculer vers la vue microservice, cliquez sur l'icône .
Filtrez les traces.
- Dans la zone Quick Filter à gauche, filtrez les traces par statut, durée, type de span, nom d'interface ou nom de modèle.
  
  Les conditions de filtrage s'affichent dans la zone de texte en haut de la page.
- Cliquez sur la zone de texte en haut pour modifier les conditions de filtrage existantes ou définir des conditions pour d'autres dimensions dans le panneau déroulant.
  
  Les conditions de requête courantes incluent serviceName (nom de l'application), spanName (nom de l'interface), ip (adresse hôte), traceId (ID de trace) et duration. Vous pouvez sélectionner Only show traces with code hotspots, Only show root spans, Only show slow spans ou Only show error spans pour filtrer les résultats. Les requêtes avancées permettent de filtrer par kind (type d'endpoint) et statusCode (statut). Vous pouvez également cliquer sur Add query condition pour ajouter des conditions basées sur des attributs ou des ressources. Pour appliquer les filtres, cliquez sur Query.
- Saisissez directement les conditions de requête dans la zone de texte en haut. Pour plus de détails sur la syntaxe de requête, consultez Syntaxe de requête pour Trace Explorer.
  Remarque
  
  Cliquez sur l'icône à droite de la zone de texte pour enregistrer les conditions de filtrage actuelles.
  
  Cliquez sur Saved View à droite de la zone de texte pour afficher vos conditions de filtrage enregistrées. Cliquez sur une condition de filtrage pour afficher rapidement les informations de trace correspondantes.
  
  Sélectionnez une dimension d'agrégation pour regrouper les données filtrées.

Liste des traces

Après configuration des filtres, la page Trace Explorer affiche les informations de trace LLM filtrées, y compris le nombre d'appels, le nombre de tokens, les percentiles de durée, la distribution des durées et la liste des traces.

Au-dessus de la liste des traces, vous pouvez basculer entre différentes vues en cliquant sur des onglets tels que List, scatter plot, cross-trace aggregation, cross-trace topology et slow and error traces. Le panneau slow trace analysis à droite classe les contributeurs à la trace la plus longue selon des dimensions telles que spanName, serviceName et ip.

La liste des traces affiche l'ID de trace, le contenu d'entrée et de sortie, le nom de l'interface, le type de span, la durée, le nombre de tokens, le nom de l'application, l'ID utilisateur, l'ID de session et l'heure de début pour chaque trace. Dans la zone de liste des traces, vous pouvez effectuer les actions suivantes :

Dans la colonne Actions d'une trace, cliquez sur Details pour afficher tous les détails. Pour plus d'informations, consultez les détails de la trace.
Dans la colonne Actions d'une trace, cliquez sur Log pour afficher les journaux correspondants.
Cliquez sur l'icône dans le coin supérieur droit pour ajouter ou masquer des colonnes dans la liste.
Survolez un paramètre de trace et cliquez sur l'icône à droite pour ajouter la valeur actuelle du paramètre comme condition de filtrage.

Détails de la trace

Dans le panneau des détails de la trace, vous pouvez afficher la chronologie, l'heure de début et la durée totale d'une trace, ainsi que des informations telles que le contenu d'entrée et de sortie, le nom de la span, le type, le nom de l'application, le nombre de tokens et la durée.

Dans le panneau des détails de la trace, vous pouvez effectuer les actions suivantes :

Survolez l'étiquette du nombre de tokens pour afficher les données détaillées des tokens.
Cliquez sur un nom de span pour afficher sa durée, son heure de début, ses informations supplémentaires, ses métriques et ses journaux. Les informations affichées varient selon le type d'opération.
- Les informations supplémentaires incluent le nom du modèle, la requête d'entrée, le modèle de prompt, les paramètres d'invocation et les résultats.
- Pour les descriptions des champs d'attribut, consultez Définitions des champs pour les traces LLM.

Documents connexes

Pour plus de détails sur les autres fonctionnalités de LLM Trace Explorer, consultez LLM Trace Explorer.