O AgentLoop desenvolve as capacidades de seu product com base no flywheel de dados. Ao coletar continuamente dados de execução do agente e convertê-los em ativos reutilizáveis, o AgentLoop impulsiona a otimização iterativa dos agentes.
Flywheel de dados
O flywheel de dados é o mecanismo operacional central do AgentLoop e a chave para entender o valor do product.
Quando um agente execute em produção, ele gera continuamente traces, registros de conversas e dados de log. Um pipeline limpa esses dados brutos em trajetórias que capturam o processo completo e as métricas de status, incluindo entrada e saída do usuário, inferência do modelo, chamadas de ferramentas e augmentação de recuperação. O processamento profundo das trajetórias produz dois tipos de ativos de dados principais: datasets e experiências. Esses ativos de dados, por sua vez, impulsionam a avaliação e experimentação de agentes, a detecção de comportamentos inseguros, o ajuste de prompts e habilidades, e a otimização dinâmica de contexto. Isso melhora o desempenho dos agentes em produção, que então geram dados de execução de maior qualidade, formando um ciclo de reforço positivo.
A chave do flywheel é a seguinte: os dados são coletados uma única vez para gerar trajetórias completas, que depois são reutilizadas nos quatro cenários de observabilidade, auditoria, avaliação e otimização, com seu valor crescendo continuamente ao longo do tempo.
AgentSpace
O AgentSpace é o workspace de nível superior para organizar e gerencie recursos no AgentLoop.
Um AgentSpace define o limite completo de recursos para uma equipe, linha de negócios ou projeto independente, contendo todos os recursos como Agent Applications, datasets, tarefas de avaliação, planos de experimento, repositórios de memória e repositórios de experiência. O AgentSpace fornece isolamento de recursos, gerenciamento centralizado e controle de acesso, tornando-o a unidade fundamental para governança multilocatária de nível corporativo.
Uma abordagem típica consiste em criar um AgentSpace separado para cada domínio de negócios (como atendimento ao cliente, operações ou desenvolvimento) para obter um isolamento claro de recursos e permissões.
Agente
Um agente é uma entidade autônoma capaz de tomar decisões independentes e executar etapas múltiplas. Diferente das aplicações tradicionais de LLM que apenas concluem uma única troca de entrada e saída, um agente pode planejar com base em um objetivo, selecione e chamar ferramentas de forma autônoma, manter o estado em várias etapas e ajustar dinamicamente sua estratégia para concluir tarefas complexas.
No contexto do AgentLoop, "agente" é um conceito geral que se refere a qualquer entidade autônoma com as características de execução descritas acima, independentemente do framework em que foi construído ou da plataforma em que execute.
Agent Application
Um Agent Application é uma instância de agente conectada ao AgentLoop para observabilidade, avaliação e otimização. Pode ser um bot de atendimento ao cliente, um assistente de operações, um assistente de codificação, um copilot corporativo ou um sistema de agente personalizado.
Diferença entre um agente e um Agent Application: Um agente é um conceito de negócios que descreve um sistema de IA com capacidades de execução autônoma; um Agent Application é um conceito de recurso que se refere a uma instância concreta integrada ao AgentLoop. Um único Agent Application pode conter um ou mais agentes colaborando, mas o AgentLoop o trata como uma unidade unificada para observação e gerenciamento.
Após a integração, o AgentLoop coleta continuamente dados como traces e logs de auditoria gerados enquanto o Agent Application execute, ajudando os desenvolvedores a entender como o agente atua em ambientes reais e impulsionando os fluxos de trabalho subsequentes de avaliação e otimização.
Trajetória
Uma trajetória registra o caminho de execução completo de uma única solicitação de agente, desde o recebimento até a conclusão. A trajetória inclui todas as etapas — entrada do usuário, inferência do modelo, chamadas de ferramentas, augmentação de recuperação, leituras de memória, ramificações de decisão e a resposta final — juntamente com a latência, o consumo de tokens e as informações de status de cada etapa.
A trajetória é a unidade de dados fundamental do flywheel de dados do AgentLoop: a observabilidade depende dela para reconstruir caminhos de execução e localizar problemas; a avaliação a utiliza para julgar a qualidade da saída e a coerência da trajetória; a auditoria a utiliza para identificar cadeias de ataque de comportamento inseguro; e as experiências também são extraídas e destiladas a partir dela.
Dataset
Um dataset é o principal meio pelo qual o AgentLoop gerencia dados de execução de agentes, utilizado para acumular ativos de dados estruturados e de alta qualidade que podem ser consultados, avaliados e disponibilizados para experimentação.
Acumule informações como registros de conversas, trajetórias e anotações de especialistas em um dataset. Cada dataset suporta schemas personalizados (com tipos de campo que incluem text, long, double e json), gerenciamento de versões, recuperação de texto completo, busca semântica e análise SQL. Os datasets desempenham múltiplos papéis no product: como source de dados de entrada para tarefas de avaliação, conjunto de testes para comparações de experimentos, conjunto de linha de base de regressão para gates de CI/CD e base de dados para otimização contínua.
Os datasets são acumulados e atualizados automaticamente por meio de pipelines conforme os negócios executam, com frequências de atualização configuráveis como tempo real, diária, semanal ou manual. A plataforma também fornecerá um marketplace de datasets com modelos predefinidos para vários cenários, ajudando você a construir rapidamente linhas de base de avaliação.
Pipeline
Um pipeline é o motor de processamento de dados automatizado do AgentLoop, responsável por converter dados brutos de execução em trajetórias ou datasets de alta qualidade.
Os pipelines suportam orquestração em várias etapas. Uma cadeia de processamento típica é: ingestão de source de dados (dados de trace ou logs do SLS) → redução de dados (filtragem, deduplicação, amostragem) → extração de recursos (rodadas de etapas, conjuntos de chamadas de ferramentas, etc.) → processamento de dados por IA (tópicos, intenções, anotações, etc.) → gravação no armazenamento de dados de destino (um dataset ou log store). Todo o processo execute de forma automática e contínua, economizando mais de 90% dos custos de processamento manual de dados.
Avaliação
A avaliação é usada para quantificar a qualidade das saídas e dos processos de execução do agente, transformando a questão subjetiva de "é bom?" em métricas objetivas que podem ser rastreadas e comparadas.
O AgentLoop suporta avaliação multidimensional de saídas de modelo, resultados de recuperação RAG, chamadas de ferramentas e trajetórias de execução de agentes. Os avaliadores incluem avaliadores predefinidos (abrangendo uso geral, RAG, uso de ferramentas, trajetórias de agentes e mais) e avaliadores personalizados. Os métodos de avaliação incluem Agent-as-a-Judge, LLM-as-a-Judge e feedback humano. As source de dados de avaliação incluem trajetórias, traces, logs e datasets. As tarefas de avaliação suportam duas estratégias de execução: avaliação contínua com base em novos dados (para monitoramento em tempo real das mudanças de qualidade) e avaliação em lote com base em dados históricos (para validação de regressão offline).
Os resultados da avaliação podem ser usados para descobrir casos ruins, monitorar tendências de qualidade em produção, verifique se as mudanças de versão introduzem regressões e integrar com CI/CD para implementar gates de qualidade automatizados.
Experimento
Os experimentos são usados para comparar as diferenças de desempenho de diferentes configurações sob condições controladas, ajudando as equipes a validar o efeito das mudanças antes da liberação.
crie um plano de experimento, selecione um dataset de destino e uma combinação de avaliadores, defina vários conjuntos de variáveis de experimento (instâncias de agente, versões de modelo, versões de prompt, configurações de parâmetros, configurações de ferramentas, etc.) e execute-os em lotes para comparar o desempenho de cada grupo em dimensões como precisão, pontuações de qualidade, latência, consumo de tokens e custo. Os resultados do experimento fornecem análise de significância estatística para ajudar as equipes a tomar decisões baseadas em dados e reduzir os riscos de produção introduzidos por ajustes de prompt, atualizações de modelo e iterações de versão do agente.
Playground
O Playground é um ambiente de experimentação interativo para depuração e validação rápidas.
No Playground, ajuste instantaneamente objetos de experimento, como agentes, prompts, parâmetros de modelo e amostras de entrada, visualize as saídas do agente e do modelo em tempo real e anexe avaliadores para comparar os resultados da avaliação. É adequado para depuração de agentes de instância única ou multiversão, experimentação rápida de prompts, solução de problemas de desempenho e validação de viabilidade antes de criar formalmente um plano de experimento. O Playground reduz a barreira para experimentação, permitindo que os desenvolvedores iterem ideias rapidamente sem configurar um fluxo de trabalho de experimento completo.
Ativos de agente
Os ativos de agente são as unidades gerenciáveis principais que compõem a lógica comportamental de um agente, incluindo principalmente prompts e habilidades.
Um prompt define a configuração de função do agente, as instruções de raciocínio e as especificações de saída; uma habilidade encapsula a lógica de chamada de ferramentas e a orquestração de processos que o agente usa para concluir uma tarefa específica. Na engenharia do mundo real, o desempenho de um agente depende fortemente da correção e da consistência da lógica comportamental nesses ativos.
O AgentLoop fornece hospedagem centralizada, controle de versão e auditoria de mudanças para ativos de agente: cada modificação é rastreável, seu efeito pode ser quantificado e comparado por meio de avaliações associadas, e as alterações em um prompt ou habilidade podem acionar automaticamente a validação de avaliação para garantir que a mudança não introduza regressão de qualidade. As equipes podem gerenciar o comportamento do agente da mesma forma que gerencie código: as mudanças são registradas, os efeitos são medidos e as liberações são controladas por gates.
Memória
A memória é a capacidade de contexto de longo prazo que o AgentLoop fornece para os agentes, usada para armazenar preferências do usuário, fatos importantes e informações reutilizáveis. Nas interações subsequentes, uma aplicação recupera memórias relevantes e as adiciona ao contexto da solicitação atual, ajudando o agente a entregar um service mais coerente e personalizado.
Um repositório de memória é um recurso para o gerenciamento de memórias e suporta três fontes de dados: gravações manuais, trajetórias de agentes e datasets. A política de extração determina quais informações são retidas, e a política de armazenamento determina se o sistema anexa eventos ou mescla e atualize as memórias existentes. As aplicações usam a chave de API vinculada ao repositório de memória para ler e gravar memórias por meio de uma interface compatível com mem0. O console fornece pesquisa e edição de memória, visualizações de políticas, auditoria e estatísticas. Para mais informações, consulte Memory Store overview.
Experiência
Uma experiência é um conhecimento operacional reutilizável extraído automaticamente das trajetórias de execução do agente, registrando métodos de tratamento eficazes, caminhos de decisão, padrões de sucesso ou lições de falha para uma determinada classe de tarefas.
Diferente da memória, que foca em "lembrar informações do usuário e do ambiente", a experiência foca em "como o próprio agente pode concluir melhor as tarefas". Por exemplo, a melhor sequência de etapas para um determinado tipo de solução de problemas, a combinação correta de parâmetros para um determinado tipo de chamada de ferramenta ou uma estratégia de correção eficaz para um determinado tipo de caso ruim, tudo isso pode ser destilado automaticamente em fragmentos de experiência.
As experiências suportam compartilhamento no nível da organização: múltiplos Agent Applications dentro da mesma empresa podem compartilhar o mesmo repositório de experiências, permitindo que as experiências bem-sucedidas de um único agente sejam reutilizadas em várias aplicações e acelerando a melhoria geral de capacidades.