Após a instalação do agente Python na sua aplicação de modelo de linguagem grande (LLM), o Application Real-Time Monitoring Service (ARMS) inicia o monitoramento. A página Scenario-based analysis exibe uma lista de sessões e o uso de modelos da sua aplicação LLM em um intervalo de tempo especificado.
Pré-requisitos
Instale o agente da sua aplicação LLM. Para obter instruções, consulte Conectar uma aplicação LLM ou serviço de inferência ao ARMS.
Análise de sessões
Clique em na caixa de pesquisa para filtrar sessões por critérios como Session ID, User, Session duration, Number of traces, Total tokens, Input tokens e Output tokens.
-
Clique em no nome de uma sessão ou em Details na coluna Actions para visualizar os detalhes da sessão.
Clique em em um Trace ID para visualizar os detalhes do trace. Para mais informações, consulte Análise de traces de LLM.
O painel de detalhes da sessão apresenta informações básicas, incluindo Session ID, Session duration, Total tokens, Number of traces, Start time, User ID e Model. A área principal contém um gráfico de Gantt com a linha do tempo de todos os traces. Abaixo do gráfico, uma lista de traces individuais mostra o conteúdo de entrada e saída, o consumo de tokens, o Trace ID e o modelo utilizado.
Análise de modelos
Selecione um modelo na parte superior da aba. Para mais informações sobre as métricas, consulte Referência de métricas de LLM.
