Visão geral de aplicações LLM - Application Real-Time Monitoring Service: Central de Documentação do Alibaba Cloud

Após a instalação do agente Python na sua aplicação de Large Language Model (LLM), o Application Real-Time Monitoring Service (ARMS) inicia o monitoramento. Na página Overview, visualize as principais métricas da aplicação LLM, como número de chamadas ao modelo, uso de tokens, contagem de traces e sessões.

Pré-requisitos

Instale o agente na sua aplicação LLM. Para mais informações, consulte Conectar uma aplicação LLM ou serviço de inferência ao ARMS.

Visão geral da aplicação LLM

Faça login no ARMS console. No painel de navegação à esquerda, escolha LLM Application Monitoring > Application list.
Na página Application list, selecione uma região no topo da página e clique em nome da aplicação desejada.
Na barra de navegação superior, clique em Overview.

Painel

Painel	Descrição
Number of model calls	Número de vezes que a aplicação chamou o LLM no intervalo de tempo selecionado.
Token usage	Total de tokens consumidos pela aplicação no intervalo de tempo selecionado.
Trace count	Número de traces gerados pela aplicação no intervalo de tempo selecionado.
Span count	Número de spans gerados pela aplicação no intervalo de tempo selecionado.
Session count	Número de sessões iniciadas pela aplicação no intervalo de tempo selecionado.
Number of users	Total de usuários únicos que interagiram com a aplicação no intervalo de tempo selecionado.
Operation type distribution	CHAIN: Ferramenta que conecta um LLM a outros componentes para executar tarefas complexas. Uma CHAIN pode incluir recuperações, embeddings, chamadas ao LLM e até outras CHAINs aninhadas. EMBEDDING: Processo de embedding, como a conversão de texto em representação vetorial por meio de um modelo específico. Permite buscas por similaridade para encontrar contexto relevante. RETRIEVER: Operação que acessa um armazenamento vetorial ou banco de dados para buscar informações. Geralmente usada para complementar o contexto fornecido ao LLM e melhorar a precisão e relevância das respostas. RERANKER: Reordena um conjunto de documentos de entrada com base na relevância para uma consulta específica. Pode retornar os K documentos mais relevantes para uso como contexto pelo LLM. LLM: Invocação de um Large Language Model. Por exemplo, chamar um LLM via SDK ou API para realizar inferência ou geração de texto. TOOL: Chamada a uma ferramenta externa, como calculadora ou API meteorológica, para obter dados específicos, como a previsão do tempo atual. AGENT: Agente inteligente, consistindo em uma CHAIN complexa que utiliza o raciocínio do LLM para decidir a próxima ação. Pode envolver múltiplas chamadas a LLMs e TOOLs até alcançar progressivamente uma resposta final. TASK: Método personalizado definido pelo usuário na aplicação. Exemplo: invocar uma função local para aplicar lógica específica.
Avg LLM call per request	Média de chamadas ao LLM por requisição, calculada em intervalos de um minuto.
Request count trend	Acompanha o número de requisições à aplicação LLM por minuto.
Model call ranking	Lista os 5 LLMs mais frequentemente chamados na aplicação.
User ranking by request count	Lista os 5 usuários que fizeram mais requisições na aplicação.
Session count trend	Acompanha o número de sessões da aplicação LLM por minuto.

Application Real-Time Monitoring Service:Visão geral

Pré-requisitos

Visão geral da aplicação LLM

Painel

Number of model calls

Trace count

Session count

Number of users

Operation type distribution

Avg LLM call per request

Model call ranking

User ranking by request count

Session count trend

Documentos relacionados