AgentLoop:Preguntas frecuentes

¿Qué es AgentLoop?

AgentLoop es una plataforma integral de Alibaba Cloud para agentes de IA empresarial. Para obtener más información, consulte AgentLoop. Impulsa un ciclo de observación, evaluación y optimización que evoluciona por sí mismo y mejora continuamente la calidad, la eficiencia, la rentabilidad y la seguridad de los agentes.

¿En qué se diferencia AgentLoop de las herramientas APM y LLMOps tradicionales?

Las herramientas tradicionales de Application Performance Management (APM) supervisan microservices convencionales, pero no pueden interpretar las cadenas de razonamiento de varios pasos ni los patrones de consumo de token propios de los agentes de IA. Las herramientas de Large Language Model Operations (LLMOps) se centran en llamadas individuales a modelos y solo proporcionan una observability fragmentada.

AgentLoop se diseñó específicamente para el paradigma de agentes. Se diferencia en tres aspectos: observability de pila completa con instrumentación automática de extremo a extremo y extracción automática de trayectorias; un sistema de evaluación Agent-as-a-Judge en el que el propio evaluador planifica y razona en varios pasos; y un ciclo de retroalimentación de datos de circuito cerrado que va de la observación a la optimización, en lugar de herramientas puntuales independientes.

¿Cómo empiezo a usar AgentLoop?

Pruebe el Playground sin iniciar sesión. Para integrar el flujo de trabajo completo, consulte la guía AgentLoop QuickStart.

¿Cómo distingo diferentes aplicaciones de agentes en un despliegue de varias aplicaciones?

Establezca un parámetro de inicio --serviceName único para cada aplicación. Los demás parámetros, como licenseKey, workspace, project y endpoint, pueden mantenerse iguales en todas las aplicaciones.

Por ejemplo, cuando ejecute varias instancias de docker para distintos casos de uso, configure un serviceName diferente para cada instancia. De esta forma, cada aplicación aparece como una entrada independiente en la consola de AgentLoop.

¿Cómo organiza y gestiona AgentSpace los recursos?

AgentSpace es el espacio de trabajo de nivel superior en AgentLoop. Cada AgentSpace define un límite de recursos para un equipo, una unidad de negocio o un proyecto independiente.

Cree un AgentSpace independiente para cada dominio de negocio, como servicio al cliente, operaciones o desarrollo, para lograr el aislamiento de recursos. Gestione el control de acceso dentro de cada AgentSpace mediante Alibaba Cloud Resource Access Management (RAM).

¿Qué datos puede observar AgentLoop de los agentes?

AgentLoop recopila datos de toda la cadena de llamadas del agente, desde los terminales de usuario y las puertas de enlace hasta el agente y sus dependencias, incluidas las herramientas y los modelos:

• Trayectoria — Trazas de ejecución completas que registran la secuencia de razonamiento y acción de cada ejecución del agente.

• Llamadas al modelo — Prompts de entrada, respuestas de salida, consumo de token y latencia de cada invocación.

• Llamadas a herramientas — Parámetros, valores de retorno, duración y estado de cada invocación.

• Registros de conversación — Historial de diálogo dentro de las sesiones.

• Errores — Excepciones en cada etapa de la cadena de ejecución.

• Métricas de rendimiento — Latencia de extremo a extremo, throughput y utilización de recursos.

¿Cómo evito la recopilación duplicada de datos cuando uso tanto un framework de agentes como el SDK de OpenAI?

En caso de que habilite tanto el plugin del framework de agentes como el plugin de OpenAI, los spans de LLM se recopilan dos veces. Elija solo un método de recopilación:

• Cuando el plugin del framework de agentes ya capture la cadena de llamadas completa, incluidas las llamadas de LLM, no agregue el plugin de OpenAI.

• En caso de llamar directamente al SDK de OpenAI sin un framework de agentes, utilice solo el plugin de OpenAI.

¿Cómo consulto los datos de sesión? ¿Hay un SDK?

AgentLoop no proporciona un SDK de consulta de sesiones independiente. Consulte los datos de nivel de sesión mediante Simple Log Service (SLS) SQL. Inicie sesión en la consola de SLS y agrupe los datos por el campo attributes.gen_ai.session.id para calcular métricas por sesión.

A continuación se describen los campos de métricas de nivel de sesión disponibles:

¿Cómo recopilo datos si mi agente no usa un framework convencional de los que se muestran en AgentLoop?

Cuando su agente use un framework convencional, AgentLoop proporciona instrumentación GenAI integrada y lista para usar. Para agentes construidos sin un framework, utilice el SDK de OpenTelemetry (OTel) para instrumentación personalizada y envío de datos de trazas a AgentLoop.

¿Por qué TTFT a veces no se muestra en el panel?

Algunos frameworks (como Claude Agent SDK) no exponen la interfaz de acceso al modelo subyacente, por lo que no pueden recopilar métricas como TTFT.

¿Qué es Agent-as-a-Judge? ¿En qué se diferencia del LLM-as-a-Judge tradicional?

Agent-as-a-Judge es un paradigma de evaluación que introdujo AgentLoop. A diferencia de LLM-as-a-Judge, basado en juicios de texto de un solo turno, Agent-as-a-Judge usa un evaluador que es en sí mismo un agente de IA con capacidades de planificación, uso de herramientas y razonamiento en varios pasos. El evaluador analiza las trazas de trayectoria completas para evaluar en profundidad, lo que incluye:

• Comprensión de los procesos de razonamiento de varios pasos.

• Análisis de la pertinencia y eficacia de las llamadas de herramientas.

• Seguimiento de la lógica de las ramas de decisión a lo largo de la cadena de ejecución.

Este enfoque produce resultados de evaluación que se ajustan más a los de los expertos humanos en el dominio.

¿Es compatible la evaluación de sesiones de varios turnos?

El evaluador actual es compatible con la evaluación de un solo turno basada en trazas o trayectorias individuales. La evaluación de sesiones de varios turnos está planificada para una versión futura, prevista para septiembre de 2026, aproximadamente.