Após instale um agente Python para sua aplicação de Large Language Model (LLM), o recurso LLM Trace Explorer analisa as informações de trace da aplicação. Na página LLM Trace Explorer, visualize a duração de diferentes tipos de spans em um trace, além de informações relacionadas, como entrada, saída e contagem de tokens.
O recurso LLM Trace Explorer está atualmente em versão beta. Para testar esse recurso, entre no grupo do DingTalk (ID: 67690017432) para obter assistência.
Pré-requisitos
Instale um agente para sua aplicação LLM. Para obter instruções, consulte Integrate LLM applications and inference services with ARMS.
Filtrar traces
Faça login no ARMS console.
No painel de navegação à esquerda, escolha LLM Application Monitoring > Trace Explorer.
-
Na página Trace Explorer, use o seletor de horário no canto superior direito para definir o intervalo de tempo da consulta.
NotaPor padrão, as aplicações LLM aparecem na visualização Large Language Model (ícone
). Para alternar para a visualização de microsserviços, clique em no ícone 
. -
Filtre os traces.
-
Na área Quick Filter à esquerda, filtre os traces por status, duração, tipo de span, nome da interface ou nome do modelo.
As condições de filtro aparecem na caixa de texto na parte superior da página.
-
Clique em na caixa de texto superior para modifique as condições de filtro existentes ou defina condições para outras dimensões no painel suspenso.
As condições de consulta comuns incluem serviceName (nome da aplicação), spanName (nome da interface), ip (endereço do host), traceId (ID do trace) e duration. Selecione Only show traces with code hotspots, Only show root spans, Only show slow spans ou Only show error spans para filtrar os resultados. Consultas avançadas permitem filtragem por kind (tipo de endpoint) e statusCode (status). Clique em Add query condition para adicionar condições baseadas em atributos ou recursos. Para aplicar os filtros, clique em Query.
-
Insira as condições de consulta diretamente na caixa de texto superior. Para detalhes sobre a sintaxe de consulta, consulte Query syntax for Trace Explorer.
NotaClique em no ícone
à direita da caixa de texto para salve as condições de filtro atuais.Clique em Saved View à direita da caixa de texto para visualize suas condições de filtro salvas. Clique em uma condição de filtro para ver rapidamente as informações de trace correspondentes.
Selecione uma dimensão de agregação para agrupar os dados filtrados.
-
Lista de traces
Após configurar os filtros, a página Trace Explorer exibe as informações de trace LLM filtradas, incluindo contagem de chamadas, contagem de tokens, percentis de duração, distribuição de duração e a lista de traces.
Acima da lista de traces, alterne entre diferentes visualizações clicando nas abas List, scatter plot, cross-trace aggregation, cross-trace topology e slow and error traces. O painel slow trace analysis à direita classifica os contribuidores do trace mais longo por dimensões como spanName, serviceName e ip.
A lista de traces mostra o ID do trace, conteúdo de entrada e saída, nome da interface, tipo de span, duração, contagem de tokens, nome da aplicação, ID do usuário, ID da sessão e hora de início de cada trace. Na área da lista de traces, execute as seguintes ações:
Na coluna Actions de um trace, clique em Details para visualize seus detalhes completos. Para mais informações, consulte trace details.
Na coluna Actions de um trace, clique em Log para visualize os logs correspondentes.
Clique em no ícone
no canto superior direito para adicionar ou ocultar colunas na lista.Passe o mouse sobre um parâmetro do trace e clique em no ícone
à direita para adicionar o valor atual do parâmetro como condição de filtro.
Detalhes do trace
No painel de detalhes do trace, visualize a linha do tempo, a hora de início e a duração total de um trace, além de informações como conteúdo de entrada e saída, nome do span, tipo, nome da aplicação, contagem de tokens e duração.
No painel de detalhes do trace, execute as seguintes ações:
Passe o mouse sobre a tag de contagem de tokens para visualize dados detalhados dos tokens.
-
Clique em no nome de um span para visualize sua duração, hora de início, informações adicionais, métricas e logs. As informações exibidas variam conforme o tipo de operação.
As informações adicionais incluem o nome do modelo, consulta de entrada, modelo de prompt, parâmetros de invocação e resultados.
Para descrições dos campos de atributo, consulte Field definitions for LLM traces.
Documentos relacionados
Para obter detalhes sobre outros recursos do LLM Trace Explorer, consulte LLM Trace Explorer.