数据处理（Pipeline） - 云监控

AgentLoop Pipeline 是数据处理流水线引擎，用于将 AI Agent 运行时日志数据自动加工处理为高质量 Dataset。Pipeline 提供 6 大类共 13 个处理节点，覆盖字段选取、三级去重、语义聚类、采样、AI 评估/标注/合成等全链路数据处理能力。

Pipeline 端到端全景

Pipeline 覆盖从 LogStore 到 Dataset 的完整链路，通过灵活组合 6 大类、13 个处理节点（数据清洗、采样、评估、标注、合成等），按需编排数据处理流程。

Pipeline 文档按用途分为以下类别。

类型	文档	说明
Quick Start	快速开始	5 分钟跑通第一条 Pipeline。选择数据源、配置节点、设置调度、提交运行。
User Guide	用户使用指南	推荐首读。涵盖 Pipeline 核心概念、数据处理流程、典型场景、编排原则、预置模板、最佳实践和 FAQ。
Reference	产品功能文档	参考手册。包含 Pipeline JSON 配置结构、全部 13 个节点的参数详解、REST API、扩展列、阈值参考和使用限制。
Tutorial	教程：从零构建数据管线	步骤式学习路径。按顺序完成字段选取、三级去重、聚类采样、AI 评估等操作，约 20~30 分钟构建一条完整 Pipeline。
Templates	预置模板总览	9个预置 Pipeline 模板，覆盖去重清洗、多样性采样、质量评估、自动标注、数据合成等场景。可直接复制或按需定制。
Nodes Reference	节点总览	13 个处理节点的参数说明、配置示例。