LLM application overview - Application Real-Time Monitoring Service: Central de Documentação do Alibaba Cloud

Após a instalação do agente Python para a sua aplicação de Large Language Model (LLM), o Application Real-Time Monitoring Service (ARMS) inicia o monitoramento. Na página Overview, é possível visualizar as principais métricas da sua aplicação LLM, como o número de chamadas ao modelo, o uso de tokens, a contagem de traces e a contagem de sessões.

Pré-requisitos

O agente deve estar instalado para a sua aplicação LLM. Para mais informações, consulte Connect an LLM application or inference service to ARMS.

Visão geral da aplicação LLM

Acesse o console do ARMS. No painel de navegação à esquerda, escolha LLM Application Monitoring > Application list.
Na página Application list, selecione uma região na parte superior da página e clique no nome da aplicação de destino.
Na barra de navegação superior, clique em Overview.

Painel

Painel	Descrição
Número de chamadas ao modelo	Número de vezes que a aplicação chama o LLM no intervalo de tempo selecionado.
Uso de tokens	Número de tokens consumidos pela aplicação no intervalo de tempo selecionado.
Contagem de traces	Número de traces gerados pela aplicação no intervalo de tempo selecionado.
Contagem de spans	Número de spans gerados pela aplicação no intervalo de tempo selecionado.
Contagem de sessões	Número de sessões iniciadas pela aplicação no intervalo de tempo selecionado.
Número de usuários	Número total de usuários únicos que interagem com a aplicação no intervalo de tempo selecionado.
Distribuição por tipo de operação	CHAIN: Ferramenta que conecta um LLM a outros componentes para executar tarefas complexas. Uma CHAIN pode incluir recuperações, embeddings, chamadas ao LLM e até outras CHAINs aninhadas. EMBEDDING: Processo de embedding, como a operação que converte texto em uma representação vetorial usando um modelo de embedding. Isso permite buscas por similaridade para encontrar contextos relevantes. RETRIEVER: Operação que acessa um armazenamento vetorial ou banco de dados para buscar dados. Geralmente, essa operação complementa o contexto fornecido ao LLM, melhorando a precisão e a relevância da resposta. RERANKER: Operação que reordena um conjunto de documentos de entrada com base na relevância para uma determinada consulta. Pode retornar os K documentos mais relevantes para uso como contexto de um LLM. LLM: Invocação de um Large Language Model, como a chamada a um LLM por meio de um SDK ou API para executar inferência ou geração de texto. TOOL: Invocação de uma ferramenta externa, como uma calculadora ou uma API de clima, para obter informações específicas, como o clima atual. AGENT: Agente inteligente. Consiste em uma CHAIN complexa que usa o raciocínio do LLM para decidir a próxima ação. Pode envolver múltiplas chamadas para LLMs e TOOLs para chegar progressivamente a uma resposta final. TASK: Método personalizado e definido pelo usuário na aplicação. Por exemplo, a chamada de uma função local para aplicar uma lógica específica.
Média de chamadas ao LLM por requisição	Número médio de chamadas ao LLM por requisição, calculado em intervalos de um minuto.
Tendência de contagem de requisições	Acompanha o número de requisições à aplicação LLM por minuto.
Classificação de chamadas ao modelo	Lista os 5 LLMs chamados com mais frequência na aplicação.
Classificação de usuários por contagem de requisições	Lista os 5 usuários que mais fizeram requisições na aplicação.
Tendência de contagem de sessões	Acompanha o número de sessões da aplicação LLM por minuto.

Application Real-Time Monitoring Service:Visão geral

Pré-requisitos

Visão geral da aplicação LLM

Painel

Número de chamadas ao modelo

Contagem de traces

Contagem de sessões

Número de usuários

Distribuição por tipo de operação

Média de chamadas ao LLM por requisição

Classificação de chamadas ao modelo

Classificação de usuários por contagem de requisições

Tendência de contagem de sessões

Referências