AgentLoop:Guia de início rápido do AgentLoop: tutorial de ponta a ponta

Procedimento

1. Faça login no console do AgentLoop.

2. Na lista Agent Spaces da página inicial do console, clique em Create Space no canto superior direito.

3. Na caixa de diálogo Create Agent Space, configure os parâmetros a seguir.

   Parâmetro	Descrição
   Region	Selecione cn-hangzhou, cn-shanghai ou cn-hongkong. Não é possível alterar a região após a criação do espaço.
   Agent Space (AgentSpace)	Nome do espaço. Deve ter entre 3 e 63 caracteres, contendo letras minúsculas, dígitos, hifens (-) e sublinhados (_). O nome deve ser globalmente único entre todos os usuários. Não é possível alterar o nome após a criação do espaço.
   Description	Breve descrição da finalidade do espaço (opcional).
   CMS 2.0 Workspace	Criação automática: O sistema cria um novo workspace chamado agentloop-<código de 32 caracteres>. Selecionar existente: Escolha um workspace do CMS 2.0 existente na mesma região e sob sua conta na lista suspensa para reutilização. Isso permite unificar a visualização de monitoramento com o monitoramento de aplicações existente. Não é possível alterar a vinculação após a criação do espaço.
   MSE Namespace	O sistema cria automaticamente um namespace chamado agentloop-<código de 32 caracteres> para hospedar ativos de agente, como Prompts e Skills.
   SLS Project	O sistema cria automaticamente um projeto chamado agentloop-<código de 32 caracteres> para hospedar logs de auditoria e avaliação.

4. Clique em Create Space. O sistema cria automaticamente os recursos do AgentLoop e os recursos de service cloud associados, além de estabelecer as relações de vinculação. Se alguma etapa falhar, os recursos já criados não serão revertidos. Recrie os recursos pendentes na página de gerenciamento do espaço.

Verificação

Acesse System Management > Space Management. Nas seções Basic Information e Resource Bindings, verifique se o nome do AgentSpace, a região, o workspace do CMS 2.0 associado, o namespace do MSE e o projeto do SLS estão prontos.

1. Selecione um método de ingestão

Acesse o Integration Center e selecione um método de ingestão com base na pilha tecnológica do seu agente.

O AgentTeams e o AgentRun ingerem dados de observabilidade via CMS 2.0 por padrão. Não é necessário selecione um método de ingestão no Integration Center nem instale um agente do ARMS. O workspace do CMS 2.0 vinculado durante a criação do AgentSpace na Etapa 1 conclui a integração. Acesse diretamente para 3. Verifique a integração nesta etapa para visualizar os dados.

2. Concluir a integração do SDK

O exemplo a seguir utiliza uma aplicação LangChain/LangGraph:

# Install the Alibaba Cloud agent
pip install aliyun-bootstrap
aliyun-bootstrap -a install

# Configure environment variables
export ARMS_APP_NAME=my-agent-app
export ARMS_REGION_ID=cn-hangzhou
export ARMS_LICENSE_KEY=<Obtain from the Integration Center>
export ARMS_WORKSPACE=<CMS 2.0 workspace name associated with the AgentSpace>

# Start the application with the agent
aliyun-instrument python app.py

Não é necessário alterar seu código de negócio. O agente coleta automaticamente dados de trace para chamadas de LLM, chamadas de ferramentas, Retrievers, nós do LangGraph, entre outros.

3. Verifique a integração

Acesse AI Agent Observability e verifique os itens a seguir na aba Tracing:

• Os gráficos de linhas de contagem de traces, latência média e contagem de tokens aumentam conforme o tráfego ingerido.

• A Trace List exibe os registros de trace mais recentes. Clique em um Trace ID para acessar os detalhes da cadeia de chamadas e visualize entradas e saídas do modelo, parâmetros de ferramentas, latência e consumo de tokens de cada span.

4. Visualize métricas principais no Agent Overview

Acesse Agent Overview. Na página Agent Insights, visualize métricas principais como sessões, conversas, usuários, uso de tokens e latência média. Consulte também as métricas principais de cada agente por dimensão nos Trend Charts e na Agent List.

1. Utilizar avaliadores integrados

Acesse Evaluation > Evaluators. O painel à esquerda lista os avaliadores integrados agrupados por categoria:

Clique em no nome de um avaliador para acessar a página de detalhes. Na aba Prompt & Capabilities, visualize o Prompt do avaliador e as vinculações de capacidades (como Skills e MCP). Os avaliadores integrados estão prontos para uso imediato e não exigem configuração adicional.

2. Crie um avaliador personalizado

Para cenários de avaliação específicos do negócio (como racionalidade no planejamento de tarefas complexas ou coerência em conversas de múltiplas turnos), crie avaliadores personalizados para obter precisão.

1. No canto superior direito da página de lista de avaliadores, clique em Create Evaluator.

2. Insira as informações básicas do avaliador, como nome, descrição e tags.

3. Configure o Prompt: Escreva instruções de avaliação definindo objetivos, dimensões e critérios de pontuação. Por exemplo, um avaliador de completude de Skill:

   You are a rigorous and strict AI Agent evaluation expert.
   For the AgentTrace to be evaluated (i.e., the complete execution trajectory of an Agent),
   score it on the following dimensions (0–1)
   1. Accuracy of task understanding
   2. Rationality of tool invocation
   3. Correctness of multi-step reasoning
   4. Completeness of final output

4. Visualize as Variáveis Extraídas: Por exemplo, input, output, agent_trajectory, tool_context e rag_context. Essas variáveis vinculam-se automaticamente aos campos de mapeamento correspondentes durante a execução da tarefa de avaliação.

5. Configure Extensões de Capacidade (opcional): Vincule Skills ou MCP ao agente avaliador para permitir a invocação de recuperação externa, validação de regras, consultas a bases de conhecimento e outras capacidades durante a avaliação. Isso habilita o paradigma Agent-as-a-Judge.

6. Revise a definição de saída e confirme se deseja ative o rastreamento do processo de avaliação.

7. Clique em Save no canto superior direito.

Crie uma tarefa de avaliação

1. Acesse Evaluation > Evaluation Tasks e clique em Create Task no canto superior direito. Siga o assistente de duas etapas: Data Configuration → Select Evaluators.

2. Configure os dados consultando a tabela a seguir:

   Parâmetro	Descrição
   Task Name	Identificador de negócio da tarefa de avaliação.
   Task Description	Breve descrição da finalidade (opcional).
   Data Source	Selecione uma das opções: Traces, Logs ou Datasets.
   Agent	Selecione a aplicação de agente alvo, como ai-coding-agent-claude-code.
   Execution Policy	Avaliação contínua em novos dados: Pontua dados recém-reportados em tempo real. Avaliação em dados históricos: Execute backtesting em dados históricos dentro de uma janela de tempo especificada.
   Time Range	Intervalo de tempo para avaliação de dados históricos (por exemplo, últimas 24 horas).
   Sampling Ratio	Controla a taxa de amostragem dos dados de avaliação (1%–100%). Utilize este parâmetro junto com Maximum Evaluation Count para limitar o número de itens avaliados por execução.

3. Selecione os avaliadores:

   • Escolha avaliadores integrados ou personalizados no painel à esquerda. Selecione vários avaliadores para execução paralela.

   • Na seção Configuration à direita, vincule os campos de mapeamento de variáveis conforme exigido pelo avaliador. Mapeamentos comuns incluem input ← trace.input, output ← trace.output e agent_trajectory ← trace.agent_trajectory.

   • Após concluir a configuração, clique em Update and Run para salve a tarefa e acionar a execução imediatamente ou em Test Run para depuração.

Interpretar resultados da avaliação

Após a execução da tarefa, visualize os detalhes e a distribuição dos resultados na página Evaluation Task Details.

1. Importar dados de Trace

Acesse Data Center > Datasets e clique em Create Dataset:

1. Insira o nome e a descrição do conjunto de dados.

2. Como source de dados, selecione Process from Trace Data.

3. Na seção de filtro de dados, selecione uma Agent Application na lista suspensa.

4. Na seção de processamento de dados, selecione o modelo desejado, como ot_trace_qa_extract (extração de pares QA de Trace), e especifique o intervalo de tempo.

5. Na seção de visualização de dados, clique em Generate Preview à direita para ver a prévia.

6. Após confirme os dados, clique em Create Dataset no canto inferior direito. O sistema cria o conjunto de dados em segundo plano e execute a tarefa de pipeline associada para processar e importar os dados.

2. Anotação manual

Acesse a página de detalhes do conjunto de dados, clique em na aba Annotation e, em seguida, em Create Annotation Template:

• Configure a Data Annotation Interface e os Annotation Controls à esquerda. Visualize o resultado à direita.

• Após concluir a configuração, clique em Start Annotation no canto superior direito para anotar os itens individualmente. Pule itens se necessário.

• Visualize os resultados da anotação no campo agentloop_annotations do conjunto de dados.

3. Construir Golden Sets e Conjuntos de BadCase

Com base nos resultados da avaliação e nas revisões de anotação manual, divida os conjuntos de dados nos seguintes tipos:

1. Crie um ativo de Prompt

Acesse Agent Assets > Prompts e clique em Create Prompt:

1. Insira as informações básicas: nome (por exemplo, my-prompt) e descrição.

2. No editor de Prompt, escreva o conteúdo e use placeholders como {{input}} para declarar variáveis.

3. Clique em Save Draft ou Publish Version. Cada edição publicada incrementa automaticamente o número da versão (v0.0.1, v0.0.2, v0.0.3, etc.).

2. Gerenciamento de versões

A seção Version Information à direita da página de detalhes do ativo exibe o histórico de versões:

• Cada versão mostra o número, o autor da alteração, a descrição da mudança e o carimbo de data/hora.

• Clique em Compare Versions para comparar as diferenças entre a versão atual e uma versão alvo.

• Clique em Usage Guide para visualize o método de integração do cliente para referenciar este ativo em um agente.

3. Lançamento canário e colaboração

Use ativos de agente com o MSE AI Governance Center para divisão de tráfego. Quando várias pessoas edite ativos, bloqueios de versão e mensagens de commit ajudam a evitar conflitos. O fluxo de gerenciamento de ativos de Skills assemelha-se ao de Prompts.