AgentLoop:Guía de inicio rápido de AgentLoop: guía integral

Procedimiento

1. Inicie sesión en la consola de AgentLoop.

2. En la lista Agent Spaces de la página principal de la consola, haga clic en Create Space en la esquina superior derecha.

3. En el cuadro de diálogo Create Agent Space, configure los siguientes parámetros.

   Parámetro	Descripción
   Region	Seleccione cn-hangzhou, cn-shanghai o cn-hongkong. La región no se puede modificar después de crear el espacio.
   Agent Space (AgentSpace)	El nombre del espacio. Debe tener entre 3 y 63 caracteres y solo puede contener letras minúsculas, dígitos, guiones (-) y guiones bajos (_). Además, debe ser único a nivel global entre todos los usuarios. El nombre no se puede modificar después de crear el espacio.
   Description	Una descripción breve del propósito del espacio (opcional).
   CMS 2.0 Workspace	Auto-create: El sistema crea un nuevo espacio de trabajo llamado agentloop-<32-character code>. Select existing: Seleccione en la lista desplegable un espacio de trabajo de CMS 2.0 existente en la misma región y bajo su cuenta para reutilizarlo. Esto le permite unificar la vista de monitoreo con el monitoreo de aplicaciones que ya tiene configurado. La vinculación no se puede modificar después de crear el espacio.
   MSE Namespace	El sistema crea automáticamente un namespace llamado agentloop-<32-character code> para alojar activos del agente como Prompts y Skills.
   SLS Project	El sistema crea automáticamente un proyecto llamado agentloop-<32-character code> para alojar registros de auditoría y evaluación.

4. Haga clic en Create Space. El sistema crea automáticamente los recursos de AgentLoop y los recursos de servicios en la nube asociados, además de establecer las relaciones de vinculación. Si algún paso termina con errores, los recursos ya creados no se revierten. Puede reconstruir los recursos que no se crearon desde la página de gestión del espacio.

Verificación

Vaya a System Management > Space Management. En las secciones Basic Information y Resource Bindings, compruebe que el nombre del AgentSpace, la región, el espacio de trabajo de CMS 2.0 asociado, el namespace de MSE y el proyecto de SLS estén listos.

1. Seleccionar un método de ingesta

Vaya al Integration Center y seleccione un método de ingesta según la pila tecnológica de su agente.

AgentTeams y AgentRun ingieren datos de observability mediante CMS 2.0 de forma predeterminada. No necesita seleccionar un método de ingesta en el Integration Center ni instalar un agente de ARMS. La integración se completa con el espacio de trabajo de CMS 2.0 que vinculó al crear el AgentSpace en el paso 1. Puede ir directamente a 3. Comprobar la integración de este paso para consultar los datos.

2. Completar la integración del SDK

El siguiente ejemplo utiliza una aplicación de LangChain/LangGraph:

# Install the Alibaba Cloud agent
pip install aliyun-bootstrap
aliyun-bootstrap -a install

# Configure environment variables
export ARMS_APP_NAME=my-agent-app
export ARMS_REGION_ID=cn-hangzhou
export ARMS_LICENSE_KEY=<Obtain from the Integration Center>
export ARMS_WORKSPACE=<CMS 2.0 workspace name associated with the AgentSpace>

# Start the application with the agent
aliyun-instrument python app.py

No es necesario modificar el código de negocio. El agente recopila automáticamente datos de traza para llamadas a LLM, llamadas a herramientas, Retrievers, nodos de LangGraph, entre otros.

3. Comprobar la integración

Vaya a AI Agent Observability y revise lo siguiente en la pestaña Tracing:

• Que las gráficas de líneas de trace count, average latency y token count aumenten conforme crece el tráfico ingerido.

• Que la Trace List muestre los registros de traza más recientes. Haga clic en un Trace ID para ir a los detalles de la cadena de llamadas, donde podrá consultar las entradas y salidas del modelo, los parámetros de las herramientas, la latencia y el consumo de tokens de cada span.

4. Consultar métricas clave en Agent Overview

Vaya a Agent Overview. En la página Agent Insights puede consultar métricas clave como sessions, conversations, users, token usage y average latency. También puede revisar las métricas clave de cada agente por dimensión de agente en Trend Charts y en Agent List.

1. Usar evaluadores integrados

Vaya a Evaluation > Evaluators. El panel izquierdo muestra los evaluadores integrados agrupados por categoría:

Haga clic en el nombre de un evaluador para ir a la página de detalles. En la pestaña Prompt & Capabilities, consulte el Prompt del evaluador y sus vinculaciones de capacidades (como Skills y MCP). Los evaluadores integrados están listos para usarse de inmediato y no requieren configuración adicional.

2. Crear un evaluador personalizado

Para escenarios de evaluación específicos del negocio (como la racionalidad en la planificación de tareas complejas o la coherencia en conversaciones de varios turnos), cree evaluadores personalizados que permitan una evaluación precisa.

1. En la esquina superior derecha de la página de lista de evaluadores, haga clic en Create Evaluator.

2. Introduzca la información básica del evaluador, como el nombre, la descripción y las etiquetas.

3. Configure el Prompt: redacte las instrucciones de evaluación que definan los objetivos, las dimensiones y los criterios de puntuación. Por ejemplo, un evaluador de integridad de Skill:

   You are a rigorous and strict AI Agent evaluation expert. 
   For the AgentTrace to be evaluated (i.e., the complete execution trajectory of an Agent), 
   score it on the following dimensions (0–1)
   1. Accuracy of task understanding
   2. Rationality of tool invocation
   3. Correctness of multi-step reasoning
   Completeness of final output

4. Consulte Extracted Variables: por ejemplo, input, output, agent_trajectory, tool_context y rag_context. Estas variables se vinculan automáticamente a los campos de asignación correspondientes cuando se ejecuta la tarea de evaluación.

5. Configure Capability Extensions (opcional): vincule Skills o MCP al agente evaluador para que pueda invocar recuperación externa, validación de reglas, consultas a bases de conocimiento y otras capacidades durante la evaluación. Esto habilita el paradigma de evaluación Agent-as-a-Judge.

6. Revise la definición de salida y confirme si desea habilitar el seguimiento del proceso de evaluación.

7. Haga clic en Save en la esquina superior derecha.

Crear una tarea de evaluación

1. Vaya a Evaluation > Evaluation Tasks y haga clic en Create Task en la esquina superior derecha. Siga el asistente de dos pasos: primero Data Configuration y luego Select Evaluators.

2. Configure los ajustes de datos con base en la siguiente tabla:

   Parámetro	Descripción
   Task Name	El identificador de negocio de la tarea de evaluación.
   Task Description	Una descripción breve del propósito (opcional).
   Data Source	Seleccione una de las siguientes opciones: Traces, Logs o Datasets.
   Agent	Seleccione la aplicación de agente objetivo, como ai-coding-agent-claude-code.
   Execution Policy	Continuous evaluation on new data: puntúa en tiempo real los datos recién reportados. Evaluation on historical data: ejecuta pruebas retrospectivas sobre datos históricos dentro de una ventana de tiempo específica.
   Time Range	El rango de tiempo para la evaluación de datos históricos (por ejemplo, las últimas 24 horas).
   Sampling Ratio	Controla la tasa de muestreo de los datos de evaluación (del 1 % al 100 %). Utilice este parámetro junto con Maximum Evaluation Count para controlar la cantidad de elementos evaluados en cada ejecución de la tarea.

3. Seleccione los evaluadores:

   • Seleccione evaluadores integrados o personalizados en el panel izquierdo. Es posible seleccionar varios evaluadores para ejecutarlos en paralelo.

   • En la sección Configuration del lado derecho, vincule los campos de asignación de variables que requiera el evaluador. Las asignaciones comunes incluyen input ← trace.input, output ← trace.output y agent_trajectory ← trace.agent_trajectory.

   • Una vez terminada la configuración, haga clic en Update and Run para guardar la tarea y desencadenar la ejecución de inmediato, o bien haga clic en Test Run para depurar.

Interpretar los resultados de la evaluación

Cuando termine la ejecución de la tarea, consulte los detalles y la distribución de los resultados en la página Evaluation Task Details.

1. Importar datos de Trace

Vaya a Data Center > Datasets y haga clic en Create Dataset:

1. Introduzca el nombre y la descripción del conjunto de datos.

2. Como origen de datos, seleccione Process from Trace Data.

3. En la sección de filtro de datos, seleccione una Agent Application en la lista desplegable.

4. En la sección de procesamiento de datos, seleccione la plantilla de procesamiento deseada, como ot_trace_qa_extract (extracción de pares QA de Trace), y especifique el rango de tiempo.

5. En la sección de vista previa de datos, haga clic en Generate Preview a la derecha para consultar los datos de muestra.

6. Después de confirmar los datos, haga clic en Create Dataset en la esquina inferior derecha. El sistema crea el conjunto de datos en segundo plano y ejecuta la tarea de pipeline asociada para procesar e importar los datos.

2. Anotación manual

Vaya a la página de detalles del conjunto de datos, haga clic en la pestaña Annotation y luego en Create Annotation Template:

• Configure la Data Annotation Interface y los Annotation Controls del lado izquierdo. Podrá previsualizar el resultado en el lado derecho.

• Una vez terminada la configuración, haga clic en Start Annotation en la esquina superior derecha para anotar los elementos uno por uno. También puede omitir elementos.

• Los resultados de la anotación se pueden consultar en el campo agentloop_annotations del conjunto de datos.

3. Construir Golden Sets y BadCase Sets

Con base en los resultados de la evaluación y las revisiones de anotaciones manuales, puede dividir los conjuntos de datos en los siguientes tipos:

1. Crear un activo de Prompt

Vaya a Agent Assets > Prompts y haga clic en Create Prompt:

1. Introduzca la información básica: el nombre (por ejemplo, my-prompt) y la descripción.

2. En el editor Prompt, redacte el contenido del Prompt y use marcadores de posición como {{input}} para declarar variables.

3. Haga clic en Save Draft o en Publish Version. Cada edición publicada incrementa automáticamente el número de versión (v0.0.1, v0.0.2, v0.0.3, etcétera).

2. Gestión de versiones

La sección Version Information, ubicada a la derecha de la página de detalles del activo, muestra el historial de versiones:

• Cada versión muestra el número de versión, la persona que hizo el commit, la descripción del cambio y la marca de tiempo.

• Haga clic en Compare Versions para comparar las diferencias entre la versión actual y una versión objetivo.

• Haga clic en Usage Guide para consultar el método de integración del cliente que permite hacer referencia a este activo en un agente.

3. Versión canary y colaboración

Los activos del agente se pueden usar junto con MSE AI Governance Center para dividir el tráfico. Cuando varias personas editan activos, los bloqueos de versión y los mensajes de commit ayudan a prevenir conflictos. El flujo de trabajo de gestión de activos de Skills es similar al de Prompts.