AgentLoop:Perguntas frequentes

O que é o AgentLoop?

O AgentLoop é uma plataforma completa da Alibaba Cloud para agentes de IA empresariais. Para mais informações, consulte AgentLoop. Ele impulsiona um ciclo autossustentável de observação, avaliação e otimização que melhora continuamente a qualidade, a eficiência, a relação custo-benefício e a segurança dos agentes.

Qual a diferença entre o AgentLoop e as ferramentas tradicionais de APM e LLMOps?

As ferramentas tradicionais de Application Performance Management (APM) monitoram microsserviços convencionais, mas não interpretam cadeias de raciocínio em múltiplas etapas nem padrões de consumo de tokens específicos de agentes de IA. Já as ferramentas de operações de modelos de linguagem grande (LLMOps) focam em chamadas individuais de modelos e oferecem apenas observabilidade fragmentada.

O AgentLoop foi desenvolvido especificamente para o paradigma de agentes e se diferencia em três aspectos: observabilidade full-stack com instrumentação automática ponta a ponta e extração automática de Trajectory; sistema de avaliação Agent-as-a-Judge, no qual o próprio avaliador planeja e raciocina em várias etapas; e ciclo virtuoso de dados fechado, da observação à otimização, em vez de ferramentas pontuais isoladas.

Como começar a usar o AgentLoop?

Experimente o Playground sem fazer login. Para integrar o fluxo de trabalho completo, consulte o guia de início rápido do AgentLoop.

Como diferenciar aplicações de agentes distintas em uma implantação com múltiplas aplicações?

Defina um parâmetro de inicialização --serviceName exclusivo para cada aplicação. Outros parâmetros, como licenseKey, workspace, project e endpoint, podem permanecer iguais entre as aplicações.

Por exemplo, ao executar várias instâncias Docker para diferentes casos de uso, configure um serviceName distinto para cada instância. Assim, cada aplicação aparece como uma entrada independente no console do AgentLoop.

Como o AgentSpace organiza e gerencia recursos?

O AgentSpace é o workspace de nível superior no AgentLoop. Cada AgentSpace define um limite de recursos para uma equipe, unidade de negócios ou projeto independente.

Crie um AgentSpace separado para cada domínio de negócios, como atendimento ao cliente, operações ou desenvolvimento, para garantir o isolamento de recursos. Gerencie o controle de acesso dentro de cada AgentSpace por meio do Resource Access Management (RAM) da Alibaba Cloud.

Quais dados o AgentLoop observa nos agentes?

O AgentLoop coleta dados em toda a cadeia de chamadas do agente, desde terminais de usuários e gateways até o agente e suas dependências, incluindo ferramentas e modelos:

• Trajectory — Rastreamentos completos de execução que capturam toda a sequência de raciocínio e ações de cada execução do agente.

• Chamadas de modelo — Prompts de entrada, respostas de saída, consumo de tokens e latência de cada invocação.

• Chamadas de ferramentas — Parâmetros, valores de retorno, duração e status de cada invocação.

• Registros de conversação — Histórico de diálogos nas sessões.

• Erros — Exceções em cada etapa da cadeia de execução.

• Métricas de desempenho — Latência ponta a ponta, throughput e utilização de recursos.

Como evitar coleta duplicada de dados ao usar simultaneamente um framework de agente e o SDK da OpenAI?

Ao ativar tanto o plugin do framework de agente quanto o plugin da OpenAI, os spans de LLM são coletados duas vezes. Escolha apenas um método de coleta:

• Se o plugin do framework de agente já capturar a cadeia completa de chamadas, incluindo as de LLM, não adicione o plugin da OpenAI.

• Se chamar o SDK da OpenAI diretamente, sem um framework de agente, use exclusivamente o plugin da OpenAI.

Como consultar dados de sessão? Existe algum SDK disponível?

O AgentLoop não fornece um SDK independente para consulta de sessões. Consulte dados no nível de sessão utilizando SQL do Simple Log Service (SLS). Faça login no console do SLS e agregue os dados pelo campo attributes.gen_ai.session.id para calcular métricas por sessão.

A tabela a seguir descreve os campos de métricas disponíveis no nível de sessão:

Como coletar dados se meu agente não utiliza um framework principal listado no AgentLoop?

Para agentes construídos com frameworks suportados, o AgentLoop oferece instrumentação GenAI integrada nativamente. Se o agente for desenvolvido sem framework, utilize o SDK do OpenTelemetry (OTel) para criar uma instrumentação personalizada e enviar dados de rastreamento ao AgentLoop.

Por que o TTFT às vezes não aparece no painel?

Alguns frameworks, como o Claude Agent SDK, não expõem a interface subjacente de acesso ao modelo. Por isso, esses frameworks não conseguem coletar métricas como o TTFT.

O que é Agent-as-a-Judge e como difere do LLM-as-a-Judge tradicional?

O Agent-as-a-Judge é um paradigma de avaliação introduzido pelo AgentLoop. Diferentemente do LLM-as-a-Judge, que depende de julgamentos textuais em turno único, o Agent-as-a-Judge emprega um avaliador que atua como um agente de IA com capacidades de planejamento, uso de ferramentas e raciocínio em múltiplas etapas. Esse avaliador analisa rastreamentos completos de Trajectory para realizar avaliações aprofundadas, incluindo:

• Compreensão de processos de raciocínio em várias etapas.

• Análise da adequação e eficácia das chamadas de ferramentas.

• Rastreamento da lógica de ramificação de decisões ao longo da cadeia de execução.

Essa abordagem gera resultados de avaliação muito mais alinhados aos de especialistas humanos do domínio.

Há suporte para avaliação de sessões com múltiplos turnos?

Atualmente, o avaliador suporta apenas avaliações de turno único com base em rastreamentos ou trajectories individuais. A avaliação de sessões com múltiplos turnos está planejada para uma versão futura, com previsão de lançamento por volta de setembro de 2026.