Audit Facts - AgentLoop: Central de Documentação do Alibaba Cloud

Visão geral da página

O Audit Facts descreve diretamente dados brutos de sessões, solicitações e respostas de modelos, chamadas de ferramentas, resultados de ferramentas e comportamentos em tempo de execução relatados pelo Agent. Ele não depende da ativação da auditoria de risco. Quando a auditoria de risco está desativada, o Risk Audit e o Entity Investigation podem exibir apenas dados históricos de risco. No entanto, o Audit Facts continua disponível para verificar resultados de ingestão, investigar problemas de contexto e analisar tendências de tokens e de comportamento.

A parte superior da página fornece filtros unificados: escopo de dados, tipo de Agent e intervalo de tempo de consulta. O escopo de dados dispõe atualmente de duas opções: AI Application Audit e AI Runtime Audit. O intervalo de tempo de consulta padrão é os últimos 7 dias.

Estrutura da página

A página Audit Facts contém três abas:

Aba	Descrição
Session Browsing	Filtre sessões por host, usuário, aplicativo do Agent, IP do host do Agent, ferramenta, Session ID e outras dimensões, e visualize as linhas do tempo do contexto.
Token Analysis	Analisa tokens de entrada, tokens de saída, total de tokens, distribuição de modelos, tendências temporais e sessões de alto consumo.
Behavior Analysis	Analisa a atividade do Agent, solicitações de modelo, chamadas de ferramentas, execução de comandos, interações externas, erros e a classificação de sessões de uma perspectiva comportamental neutra.

Session Browsing

O Session Browsing utiliza um layout dividido em painel esquerdo e direito:

Painel esquerdo: Lista que exibe as sessões correspondentes às condições de filtro.
Painel direito: Detalhes completos do contexto da sessão selecionada.

Estatísticas de nível superior

A parte superior da página exibe estatísticas gerais para o escopo de filtro atual:

Métrica	Descrição
Sessions	Número total de sessões correspondentes
Events	Contagem total de eventos brutos
Turns	Número de rodadas de interação entre usuário e Agent
Steps	Número de etapas de execução do Agent
LLM Request	Número de solicitações ao modelo LLM
Input Tokens	Contagem total de tokens de entrada do modelo
Output Tokens	Contagem total de tokens de saída do modelo
LLM Response	Número de respostas do modelo LLM
Tool Call / Result	Número de chamadas de ferramentas e resultados retornados

Condições de filtro

O Session Browsing é compatível com as seguintes dimensões de filtro:

Filtro	Descrição
Time range	Localizado no filtro unificado na parte superior do Audit Facts. O padrão é os últimos 7 dias.
Agent type	Localizado no filtro unificado na parte superior do Audit Facts.
Host	Filtre pelo host de tempo de execução do Agent.
User	Filtre por usuário.
Agent application	Filtre pelo nome do aplicativo.
Agent host IP	Filtre pelo endereço IP do host de tempo de execução do Agent.
Tool	Filtre pelas ferramentas utilizadas.
Session ID	Filtre ou localize uma sessão por um Session ID específico.

As entradas de filtro permitem consultar valores candidatos após a inserção de um prefixo e retornam os valores correspondentes com as contagens de sessões.

Localização de sessões

A página utiliza principalmente filtros para localizar sessões. Selecione ou insira a sessão de destino no filtro Session ID, ou acesse o Audit Facts a partir de páginas como Risk Audit e Entity Investigation para visualizar o contexto da sessão correspondente.

Lista de sessões

A lista de sessões exibe informações resumidas das sessões correspondentes:

Campo	Descrição
Session ID	Identificador exclusivo da sessão
Tool summary	Principais ferramentas utilizadas na sessão
Host / Agent application	Host de tempo de execução e nome do aplicativo
User / Agent type	Identificador do usuário e tipo de Agent
Agent host IP	Endereço IP do host de tempo de execução do Agent
Event	Contagem total de eventos brutos
Turn	Contagem de rodadas de interação
Step	Contagem de etapas de execução
Req / Resp	Contagem de solicitações/respostas do LLM
Tool Call / Result	Contagem de chamadas/resultados de ferramentas
Last active	Data e hora do evento mais recente

A lista é paginada. Clique em uma linha para exibir o contexto da sessão no painel direito.

Detalhes do contexto da sessão

Após selecionar uma sessão, o painel direito exibe a linha do tempo completa de eventos dessa sessão.

Tipos de eventos

A linha do tempo exibe os seguintes tipos de eventos brutos:

Tipo de evento	Rótulo	Descrição
Other event	other	Eventos de metadados no nível da sessão
LLM Request	Request	Solicitação enviada ao modelo, incluindo mensagens de entrada
LLM Response	Response	Resposta retornada pelo modelo, incluindo saída do assistente
Tool Call	tool call	Invocação de ferramentas iniciada pelo Agent, incluindo o nome e os parâmetros da ferramenta
Tool Result	tool result	Resultado retornado pela execução da ferramenta

Informações do evento

Cada evento exibe as seguintes informações:

Event ID: Identificador global único.
Turn / Step: A rodada de interação e o número da etapa aos quais o evento pertence.
Timestamp: A data e hora exatas em que o evento ocorreu.
Content summary: Conteúdo principal exibido com base no tipo de evento, como entrada do usuário, saída do modelo, parâmetros e resultados de ferramentas.

Token Analysis

O Token Analysis monitora os custos de chamadas de modelo e o consumo de contexto, respondendo a perguntas como: "Quais modelos, aplicativos ou sessões consumiram mais tokens? O consumo está concentrado em poucas sessões longas ou em solicitações anômalas?"

O Token Analysis geralmente inclui as seguintes informações:

Módulo	Descrição
Token overview	Exibe tokens de entrada, tokens de saída e total de tokens.
Model distribution and trends	Exibe o consumo de tokens por modelo e observa as tendências temporais.
Session ranking	Exibe sessões de alto consumo e permite navegar para o Session Browsing para visualizar o contexto.
Token bucket distribution	Monitora contextos longos e consumos anômalos por intervalos de consumo de tokens de Turn ou Session.

O Token Analysis é uma visualização de fatos de auditoria e não indica a confirmação de um risco de segurança. Caso seja detectado um consumo anômalo, use o Session Browsing e o Behavior Analysis para confirmar se há chamadas em loop, falhas repetidas de ferramentas, contexto excessivamente longo ou solicitações de modelo anômalas.

Behavior Analysis

O Behavior Analysis monitora a atividade do Agent de uma perspectiva comportamental neutra e não equivale diretamente aos resultados de detecção de risco. Ele responde a perguntas como: "Quais aplicativos estão mais ativos? Quais ferramentas são chamadas com frequência? Há grandes volumes de execução de comandos, interações externas ou erros de ferramentas?"

O Behavior Analysis geralmente inclui as seguintes informações:

Módulo	Descrição
Activity metrics	Exibe visões gerais, como Agents ativos, contagem de sessões, solicitações de modelo e volume total de comportamento.
Tools and commands	Coleta estatísticas sobre chamadas de ferramentas, execução de comandos, famílias de comandos e erros de ferramentas.
External interactions	Coleta estatísticas sobre comportamentos relacionados a destinos externos, domínios ou interações de rede.
Session ranking and timeline	Localiza sessões com volumes de comportamento anômalos e permite acessar o Session Browsing para reproduzir o contexto.

O Behavior Analysis ajuda os usuários a entender as linhas de base de comportamento normal e também pode fornecer contexto para investigações de risco. Por exemplo, quando o Risk Audit detecta exfiltração de dados sensíveis, use o Behavior Analysis para verificar se o mesmo aplicativo ou host também apresenta interações externas anômalas ou erros de ferramentas.

Navegação entre páginas e posicionamento de contexto

O Audit Facts serve como ponto de entrada para a visualização de contexto de outras páginas de auditoria. Para visualizar sessões brutas do Risk Audit, Entity Investigation ou Audit Management, acesse o Audit Facts e visualize a linha do tempo de eventos da sessão correspondente no Session Browsing.

Ao navegar a partir do Risk Audit, use as informações da sessão nos detalhes do risco para retornar à sessão bruta e visualizar as solicitações de modelo, respostas de modelo, chamadas de ferramentas e resultados de ferramentas antes e depois da ocorrência do risco. Ao navegar a partir do Entity Investigation, visualize o contexto da sessão em que uma entidade específica apareceu. Ao navegar a partir do Audit Management, verifique se um aplicativo ou host especificado produziu dados de auditoria.

Esse recurso garante a continuidade dos caminhos de investigação: é possível navegar de riscos, entidades ou status de ingestão de volta aos fatos de auditoria brutos. No entanto, a página Audit Facts em si oferece apenas recursos de navegação, filtragem e visualização de contexto, não fornecendo funções de anotação ou tratamento de riscos.

Exemplos de casos de uso

Cenário 1: Visualizar contexto bruto a partir de um evento de segurança

Visualize os detalhes de um risco no Risk Audit.
Tome nota ou acesse a sessão associada ao risco.
No Session Browsing do Audit Facts, visualize a linha do tempo de eventos brutos dessa sessão.
Combine solicitações de modelo, respostas de modelo, chamadas de ferramentas e resultados de ferramentas para entender o processo completo antes e depois do evento de segurança.

Cenário 2: Investigar consumo anômalo de tokens

No Token Analysis do Audit Facts, identifique uma sessão com consumo anormalmente alto.
Acesse o Session Browsing ou localize a sessão no filtro Session ID.
Revise os eventos de LLM Request/Response e verifique se há contexto excessivamente longo ou chamadas repetidas.
Use os eventos de chamadas de ferramentas para confirmar se há chamadas em loop ou tentativas de repetição após falha.

Cenário 3: Verificar a integridade dos dados de ingestão

Na página Audit Facts, filtre por um intervalo de tempo recente e pelo tipo de Agent de destino.
Revise as estatísticas de nível superior no Session Browsing e confirme se a contagem de sessões e a contagem de eventos correspondem às expectativas.
Abra uma sessão específica, visualize a linha do tempo de eventos e confirme se os eventos de Turn, Step, Request/Response e Tool Call/Result estão completos.
Se houver eventos ausentes ou campos incompletos, verifique a configuração de ingestão e o status dos componentes de coleta.