O CloudMonitor 2.0 permite conectar aplicações de IA e visualizar dados de aplicação de modelo na Observabilidade de Aplicações de IA.
Experimentar no Playground
O Alibaba Cloud Playground oferece um ambiente de demonstração para você experimentar os principais recursos do Cloud Monitor 2.0.
Acesse a Demonstração do Playground para abrir o workspace padrão.
Na barra de navegação, selecione AI Application Observability ou escolha AI Application Observability em All Features.
Na barra de navegação da AI Application Observability, selecione Model application para visualizar a lista de aplicações de modelo.
Clique em nome de uma aplicação na lista para visualizar detalhes e topologia.
Aplicação de modelo
Observabilidade de Aplicações de IA > Aplicação de Modelo exibe a lista de aplicações de modelo.
Condições de consulta
Defina condições de consulta para filtrar informações. A página utiliza duas condições padrão: domain = apm e type = apm.service. Para filtrar aplicações de modelo, recomendamos adicionar a condição feature_genai = app.
Layout da página
A página contém as seguintes seções principais:
Nome da aplicação: identificador da aplicação. Clique em nome para acessar a página de Detalhes da aplicação.
Source: origem dos dados da aplicação. Por exemplo, 'apm' indica monitoramento de aplicação e 'xtrace' indica rastreamento distribuído.
Linguagem: linguagem de programação da aplicação, como Python.
Região: região onde a aplicação está implantada.
Contagem de requisições: total de requisições da aplicação, exibido com linha de tendência.
Contagem de erros: número de requisições com falha na aplicação, exibido com linha de tendência.
Latência média: latência média das requisições da aplicação, exibida com linha de tendência.
Detalhes da aplicação
Visão geral da instância
Na página Visão Geral da Instância, filtre os dados por tempo. Esta seção inclui:
Contagem de requisições: total de requisições, comparação dia a dia, gráfico de tendência e ranking de serviços por volume de requisições.
Contagem de erros: total de erros, comparação dia a dia, gráfico de tendência, taxa de erro e ranking de serviços por quantidade de erros.
Latência: latência média, comparação dia a dia, gráfico de tendência e ranking de serviços por latência média.
Contagem de instâncias: número total de instâncias e comparação dia a dia.
Uso de CPU: gráfico de tendência de pico de uso de CPU e ranking de instâncias por pico de utilização.
Instâncias associadas
Na página Instâncias Associadas, filtre os dados por tempo. Esta seção inclui:
Aplicação: visualize as interfaces fornecidas pela aplicação e as instâncias que a suportam. Clique em uma interface ou instância para ver os dados de observabilidade.
Kubernetes: lista de clusters associados. Clique em um cluster para visualizar seus dados de observabilidade.
Infraestrutura: infraestrutura associada. Clique em um componente para visualizar seus dados de observabilidade.
Upstream/downstream: lista de serviços upstream e downstream associados. Clique em um serviço para visualizar seus dados de observabilidade.
Topologia associada
Esta página exibe a topologia de rede dos serviços upstream e downstream da aplicação. Veja um exemplo abaixo:
Visão geral da aplicação
Na página Visão Geral da Aplicação, filtre os dados por tempo. Esta seção inclui:
Dados de contagem: estatísticas de chamadas de modelo, uso de tokens, traces, spans, sessões, usuários e requisições de usuários.
Dados de gráfico: distribuição de tipos de operação, tendência do tempo médio de resposta de requisição LLM, tendência de contagem de requisições, ranking de chamadas de modelo e tendência de contagem de sessões.
Análise de desempenho
Na página Análise de Desempenho, filtre os dados por tempo. Esta seção inclui:
Contagem de requisições: número de chamadas de modelo, comparação dia a dia, gráfico de tendência temporal e ranking de modelos por volume de chamadas.
Contagem de erros: número de erros em chamadas de modelo, comparação dia a dia, gráfico de tendência de erros e ranking de modelos por falhas.
Latência: latência de chamada de modelo, comparação dia a dia, gráfico de tendência de latência média, ranking de modelos por latência e tempo até o primeiro byte (TTFB).
Análise de tokens
Na página Análise de Tokens, filtre os dados por tempo. Esta seção inclui:
Uso de tokens: total consumido, comparação dia a dia, gráfico de tendência de consumo de tokens de entrada/saída e ranking de modelos por uso de tokens.
Uso médio de tokens por sessão: média de tokens por sessão, comparação dia a dia, gráfico de tendência e ranking de sessões por consumo.
Uso médio de tokens por requisição: média de tokens por requisição, gráfico de tendência e ranking de usuários por consumo.
Análise de operações
A análise de operações abrange quatro categorias: análise de embedding, recuperação aumentada, chamada de ferramenta e chamada de método.
Análise de embedding:
Contagem de requisições de embedding: volume de requisições, comparação dia a dia, gráfico de tendência temporal e ranking de requisições.
Latência de embedding: latência média, comparação dia a dia, gráfico de tendência temporal e ranking de latência.
Contagem de erros de embedding: total de erros, comparação dia a dia, gráfico de tendência temporal e ranking de erros.
Recuperação aumentada:
Contagem de chamadas: volume de chamadas de Retrieval/Rerank, comparação dia a dia e gráfico de tendência.
Contagem de erros: número de erros de Retrieval/Rerank, comparação dia a dia e gráfico de tendência.
Latência: latência média das chamadas de Retrieval/Rerank, comparação dia a dia e gráfico de tendência.
Chamada de ferramenta:
Contagem de chamadas: volume de chamadas de ferramenta, comparação dia a dia, gráfico de tendência e ranking.
Contagem de erros: número de erros em chamadas de ferramenta, comparação dia a dia, gráfico de tendência e ranking.
Latência: latência média, comparação dia a dia, gráfico de tendência e ranking.
Chamada de método:
Contagem de chamadas: volume total, comparação dia a dia, gráfico de tendência e ranking.
Contagem de erros: número de erros em chamadas de método, comparação dia a dia, gráfico de tendência e ranking.
Latência: latência média, comparação dia a dia, gráfico de tendência e ranking.
Análise de traces
Na página Análise de Traces, filtre os dados por tempo. Utilize instruções de consulta e análise ou filtros rápidos para refinar resultados. A página apresenta lista de spans, lista de traces, gráfico de dispersão, agregação ponta a ponta, topologia ponta a ponta e análise de traces lentos ou com erro. Também é possível visualizar detalhes e logs brutos. Na barra de agregação, selecione dimensões para filtrar os dados.
A parte superior da página exibe gráficos de barras de Contagem de chamadas e Tokens, além de um gráfico de linhas de Latência média. O painel de filtro rápido à esquerda permite filtrar por Status, Latência, Nome da aplicação, tipo de span (como TASK, CHAIN, TOOL e LLM) e Nome da interface. A tabela de lista de spans inclui colunas como Trace ID, Entrada/Saída, Nome da interface, tipo de span, Latência e Total de tokens. O painel Análise de traces lentos à direita mostra os principais valores de spanName e seus rankings de contribuição.