AgentLoop construye sus funciones de producto en torno al data flywheel. Al recopilar continuamente los datos de ejecución del agente y convertirlos en recursos reutilizables, AgentLoop impulsa la optimización iterativa de los agentes.
Data flywheel
El data flywheel es el mecanismo operativo central de AgentLoop y la clave para comprender el valor del producto.
Cuando un agente se ejecuta en producción, genera continuamente trazas, registros de conversación y datos de registro. Un pipeline limpia estos datos sin procesar y los convierte en trayectorias que capturan el proceso completo y las métricas de estado. Estas métricas incluyen la entrada y salida del usuario, la inference del modelo, las llamadas a herramientas y el aumento mediante recuperación (RAG). El procesamiento profundo de las trayectorias produce dos tipos de recursos de datos principales: conjuntos de datos y experiencias. A su vez, estos recursos impulsan la evaluación y experimentación del agente, la detección de comportamientos no seguros, el ajuste de prompts y habilidades, y la optimización dinámica del contexto. Todo esto mejora el rendimiento de los agentes en producción, lo cual genera datos de ejecución de mayor calidad y forma un ciclo de refuerzo positivo.
La clave del data flywheel es la siguiente: los datos se recopilan una sola vez para generar trayectorias completas. Después, estas se reutilizan en cuatro escenarios: observability, auditoría, evaluación y optimización. Su valor crece de manera continua con el tiempo.
AgentSpace
Un AgentSpace es el espacio de trabajo de nivel superior para organizar y gestionar recursos en AgentLoop.
Un AgentSpace define el límite completo de recursos para un equipo, una línea de negocio o un proyecto independiente. Contiene todos los recursos, como Agent Applications, conjuntos de datos, tareas de evaluación, planes de experimentos, almacenes de memoria y almacenes de experiencias. AgentSpace proporciona aislamiento de recursos, gestión centralizada y control de acceso, por lo que constituye la unidad fundamental para la gobernanza multiinquilino de nivel empresarial.
Un enfoque habitual consiste en crear un AgentSpace separado para cada dominio de negocio (por ejemplo, servicio al cliente, operaciones o desarrollo) y así lograr un aislamiento limpio de recursos y permisos.
Agent
Un agente es una entidad autónoma capaz de tomar decisiones de forma independiente y ejecutar procesos de varios pasos. A diferencia de las aplicaciones tradicionales de LLM, que solo completan un intercambio de entrada y salida, un agente puede planificar con base en un objetivo, seleccionar y llamar herramientas de forma autónoma, mantener el estado entre varios pasos y ajustar dinámicamente su estrategia para completar tareas complejas.
En el contexto de AgentLoop, "agente" es un concepto general que se refiere a cualquier entidad autónoma con las características de ejecución descritas anteriormente, sin importar el framework sobre el que esté construida ni la plataforma donde se ejecute.
Agent Application
Una Agent Application es una instancia de agente conectada a AgentLoop para fines de observability, evaluación y optimización. Puede tratarse de un bot de servicio al cliente, un asistente de operaciones, un asistente de programación, un copiloto empresarial o un sistema de agentes personalizado.
Diferencia entre un agente y una Agent Application: un agente es un concepto de negocio que describe un sistema de IA con capacidades de ejecución autónoma; una Agent Application es un concepto de recurso que se refiere a una instancia concreta integrada en AgentLoop. Una sola Agent Application puede contener uno o más agentes que colaboran entre sí, pero AgentLoop la trata como una unidad unificada para su observación y gestión.
Después de la integración, AgentLoop recopila continuamente datos como trazas y registros de auditoría generados durante la ejecución de la Agent Application. Esto ayuda a los desarrolladores a comprender cómo funciona el agente en entornos reales e impulsa los flujos de trabajo posteriores de evaluación y optimización.
Trajectory
Una trayectoria registra la ruta de ejecución completa de una sola solicitud de agente, desde su recepción hasta su finalización. Incluye todos los pasos: entrada del usuario, inference del modelo, llamadas a herramientas, RAG, lecturas de memoria, ramas de decisión y la respuesta final. También incluye la latencia, el consumo de tokens y la información de estado de cada paso.
La trayectoria es la unidad de datos fundamental del data flywheel de AgentLoop. La observability depende de ella para reconstruir rutas de ejecución y localizar problemas; la evaluación la utiliza para juzgar la calidad de la salida y la coherencia de la trayectoria; la auditoría la emplea para identificar cadenas de ataque con comportamientos no seguros. Además, las experiencias también se extraen y destilan a partir de ella.
Dataset
Un conjunto de datos es el medio principal con el que AgentLoop gestiona los datos de ejecución del agente. Se utiliza para acumular recursos de datos estructurados y de alta calidad que admiten consultas, evaluaciones y experimentación.
Puede acumular información como registros de conversación, trayectorias y anotaciones de expertos en un conjunto de datos. Cada conjunto de datos admite esquemas personalizados (con tipos de campo como text, long, double y json), gestión de versiones, recuperación de texto completo, búsqueda semántica y análisis SQL. Los conjuntos de datos cumplen diversas funciones dentro del producto: actúan como fuente de datos de entrada para las tareas de evaluación, como conjunto de prueba para comparar experimentos, como línea base de regresión para las puertas de CI/CD y como base de datos para la optimización continua.
Los conjuntos de datos se acumulan y actualizan automáticamente mediante pipelines mientras el negocio opera. Las frecuencias de actualización se pueden configurar en tiempo real, diarias, semanales o manuales. La plataforma también ofrecerá un mercado de conjuntos de datos con plantillas predefinidas para diversos escenarios, lo cual le ayudará a construir líneas base de evaluación rápidamente.
Pipeline
Un pipeline es el motor automatizado de procesamiento de datos de AgentLoop, encargado de convertir los datos de ejecución sin procesar en trayectorias o conjuntos de datos de alta calidad.
Los pipelines admiten orquestación de varios pasos. Una cadena de procesamiento típica es la siguiente: ingesta de la fuente de datos (datos de traza o registros de SLS) → reducción de datos (filtrado, deduplicación, muestreo) → extracción de características (rondas de pasos, conjuntos de llamadas a herramientas, etc.) → procesamiento de datos con IA (temas, intenciones, anotaciones, etc.) → escritura en el almacén de datos de destino (un conjunto de datos o un almacén de registros). Todo el proceso se ejecuta de forma automática y continua, lo que ahorra más del 90 % de los costos manuales de procesamiento de datos.
Evaluation
La evaluación sirve para cuantificar la calidad de las salidas del agente y de sus procesos de ejecución. Transforma la pregunta subjetiva "¿es bueno?" en métricas objetivas que se pueden rastrear y comparar.
AgentLoop admite la evaluación multidimensional de salidas de modelos, resultados de recuperación de RAG, llamadas a herramientas y trayectorias de ejecución de agentes. Los evaluadores incluyen opciones predefinidas (que cubren propósitos generales, RAG, uso de herramientas, trayectorias de agentes, entre otros) y evaluadores personalizados. Los métodos de evaluación incluyen Agent-as-a-Judge, LLM-as-a-Judge y comentarios humanos. Las fuentes de datos de evaluación comprenden trayectorias, trazas, registros y conjuntos de datos. Las tareas de evaluación admiten dos estrategias de ejecución: evaluación continua basada en datos nuevos (para monitorear cambios de calidad en tiempo real) y evaluación por lotes basada en datos históricos (para validación de regresión sin conexión).
Los resultados de la evaluación permiten descubrir casos erróneos, monitorear tendencias de calidad en producción, comprobar si los cambios de versión introducen regresiones e integrarse con CI/CD para implementar puertas de calidad automatizadas.
Experiment
Los experimentos sirven para comparar las diferencias de rendimiento entre distintas configuraciones bajo condiciones controladas. Así, ayudan a los equipos a validar el efecto de los cambios antes de publicar una versión.
Al crear un plan de experimentos, seleccione un conjunto de datos de destino y una combinación de evaluadores, defina varios grupos de variables de experimento (instancias de agentes, versiones de modelos, versiones de prompts, configuraciones de parámetros, configuraciones de herramientas, etc.) y ejecútelos por lotes. De este modo, comparará el rendimiento de cada grupo en dimensiones como precisión, puntuaciones de calidad, latencia, consumo de tokens y costo. Los resultados del experimento proporcionan un análisis de significancia estadística que ayuda a los equipos a tomar decisiones basadas en datos y a reducir los riesgos en producción derivados de ajustes de prompts, actualizaciones de modelos e iteraciones de versiones de agentes.
Playground
El Playground es un entorno de experimentación interactivo diseñado para depurar y validar rápidamente.
En el Playground, ajuste al instante objetos de experimento como agentes, prompts, parámetros de modelos y muestras de entrada. Consulte las salidas del agente y del modelo en tiempo real, y adjunte evaluadores para comparar los resultados. Este entorno es adecuado para depurar agentes de una sola instancia o de varias versiones, experimentar rápidamente con prompts, solucionar problemas de rendimiento y validar la viabilidad antes de crear formalmente un plan de experimentos. El Playground reduce las barreras para experimentar, ya que permite a los desarrolladores iterar ideas con rapidez sin necesidad de configurar un flujo de trabajo de experimentación completo.
Agent assets
Los recursos del agente son las unidades gestionables principales que conforman la lógica de comportamiento de un agente, e incluyen principalmente prompts y habilidades.
Un prompt define la configuración del rol del agente, las instrucciones de razonamiento y las especificaciones de salida. Una habilidad encapsula la lógica de llamada a herramientas y la orquestación de procesos que el agente utiliza para completar una tarea específica. En la ingeniería real, el rendimiento de un agente depende en gran medida de la exactitud y consistencia de la lógica de comportamiento contenida en estos recursos.
AgentLoop proporciona hosting centralizado, control de versiones y auditoría de cambios para los recursos del agente. Cada modificación se puede rastrear, y su efecto se cuantifica y compara mediante evaluaciones asociadas. Además, los cambios en un prompt o en una habilidad pueden activar automáticamente una validación de evaluación para asegurar que no introduzcan una regresión de calidad. Los equipos pueden gestionar el comportamiento del agente igual que gestionan el código: los cambios se registran, los efectos se miden y las versiones se publican mediante puertas de control.
Memory
La memoria es la capacidad de contexto a largo plazo que AgentLoop proporciona a los agentes. Sirve para almacenar preferencias de usuario, hechos importantes e información reutilizable. En interacciones posteriores, una aplicación recupera los recuerdos relevantes y los añade al contexto de la solicitud actual, lo que ayuda al agente a ofrecer un servicio más coherente y personalizado.
Un almacén de memoria es un recurso para gestionar recuerdos y admite tres fuentes de datos: escrituras manuales, trayectorias de agentes y conjuntos de datos. La política de extracción determina qué información se conserva, mientras que la política de almacenamiento define si los eventos se anexan o si los recuerdos existentes se combinan y actualizan. Las aplicaciones utilizan la clave de API vinculada al almacén de memoria para leer y escribir recuerdos mediante una interfaz compatible con mem0. La consola ofrece búsqueda y edición de recuerdos, vistas previas de políticas, auditoría y estadísticas. Para obtener más información, consulte Descripción general de Memory Store.
Experience
Una experiencia es conocimiento operativo reutilizable que se extrae automáticamente de las trayectorias de ejecución del agente. Registra métodos de manejo eficaces, rutas de decisión, patrones de éxito o lecciones aprendidas de fallos para una determinada clase de tareas.
A diferencia de la memoria, que se centra en "recordar información del usuario y del entorno", la experiencia se enfoca en "cómo el propio agente puede completar mejor las tareas". Por ejemplo, la secuencia óptima de pasos para un tipo específico de solución de problemas, la combinación correcta de parámetros para cierto tipo de llamada a herramienta o una estrategia eficaz de corrección para un caso erróneo particular se pueden destilar automáticamente en fragmentos de experiencia.
Las experiencias admiten el uso compartido a nivel de organización. Varias Agent Applications dentro de la misma empresa pueden utilizar el mismo almacén de experiencias, lo que permite reutilizar los éxitos de un solo agente en distintas aplicaciones y acelera la mejora general de capacidades.