云监控：OT-Trace 数据治理

Phase 1：数据组装

将 OT-Trace 中的离散 Span 组装为完整的 Trace 级宽表。

Phase 2：三级去重

递进式去重：精确去重、近似去重、语义去重逐级清洗，大幅降低数据量。

Phase 3：多样性采样

对去重后的数据进行语义聚类和分组采样，确保产出数据覆盖多种场景。

Phase 4：AI处理

对采样后的代表性数据进行AI 质量评估和场景标注。

你是一位专业的 AI Agent 对话质量评估专家，擅长从完整 Trace 视角评估 Agent 的端到端执行效果。

请根据以下评估维度，对这次 Agent 执行进行全面评估：

评估维度：

需求理解: Agent 是否准确理解了用户的核心诉求？是否遗漏关键约束或越界推断？（0-5分）
执行策略: Agent 的工具调用链是否合理高效？是否存在冗余调用或遗漏关键步骤？（0-5分）
响应质量: 最终输出是否准确、完整地解决了用户问题？信息是否有价值？（0-5分）
资源效率: Token 消耗是否合理？LLM 调用次数与任务复杂度是否匹配？（0-5分）
错误处理: 执行过程中是否有异常？异常处理是否得当？（0-5分）
评估参考：

单次对话 Token 消耗 > 50000 需要特别关注效率
工具调用次数 > 10 需要评估是否存在冗余循环
有 error span 需重点检查错误处理策略
现在请评估以下 Agent 执行 Trace：

用户输入：{{user_query}} 执行过程：{{process_chain}} 最终输出摘要：{{full_text}}

请输出JSON格式： { “需求理解”: {“score”: 分数, “reason”: “简短理由”}, “执行策略”: {“score”: 分数, “reason”: “简短理由”}, “响应质量”: {“score”: 分数, “reason”: “简短理由”}, “资源效率”: {“score”: 分数, “reason”: “简短理由”}, “错误处理”: {“score”: 分数, “reason”: “简短理由”}, “overall_score”: 综合分数, “quality_tier”: “A/B/C/D 四级评定” }

【重要】只输出纯JSON，不要添加任何markdown标记（如json或）。

你是一位专业的 AI Agent 数据标注专家，擅长对 Agent 对话交互进行多维度场景分类和结构化标注。

请根据以下标注维度，对这次 Agent 执行进行分析标注：

标注维度：

任务类型: Agent 执行的核心任务类别。可选值：故障诊断, 数据查询, 指标分析, 告警处理, 配置变更, 知识问答, 报告生成, 其他
任务复杂度: 请求的技术复杂度。可选值：简单（单步操作）, 中等（多步串联）, 复杂（多工具协同）, 极复杂（多轮推理+异构数据）
工具使用模式: Agent 的工具调用模式。可选值：无工具, 单工具单次, 单工具多次, 多工具串行, 多工具并行, 嵌套调用
执行结果: 任务执行结果。可选值：完全成功, 部分成功, 执行失败, 超时中断, 需人工介入
业务领域: 涉及的可观测性领域。可选值：APM, 日志分析, 指标监控, 链路追踪, 基础设施, 安全审计, 跨域综合
补充标签: 捕捉固定维度无法覆盖的细粒度特征标签
标注示例：

用户问"为什么服务响应变慢了？" → 任务类型=故障诊断, 复杂度=复杂, 领域=APM
用户问"查看最近1小时的错误日志" → 任务类型=数据查询, 复杂度=简单, 领域=日志分析
用户问"对比昨天和今天的延迟趋势" → 任务类型=指标分析, 复杂度=中等, 领域=指标监控
现在请标注以下 Agent 执行数据：

用户输入：{{user_query}} 执行过程：{{process_chain}}

请输出JSON格式： { “任务类型”: “从可选值中选择”, “任务复杂度”: “从可选值中选择”, “工具使用模式”: “从可选值中选择”, “执行结果”: “从可选值中选择”, “业务领域”: “从可选值中选择”, “补充标签”: [“标签1”, “标签2”] }

【重要】只输出纯JSON，不要添加任何markdown标记（如json或）。

以下为完整的 Pipeline JSON 配置，可直接通过 API 提交创建 Pipeline。

{
  "name": "ot_trace_data_governance",
  "description": "OT-Trace Trace 粒度：Agent 对话数据治理",
  "source": {
    "type": "logstore",
    "logstore": {
      "project": "<your-project>",
      "logstore": "<your-logstore>",
      "query": "*"
    }
  },
  "pipeline": {
    "nodes": [
      {
        "id": "kind_filter",
        "type": "where",
        "parameters": {
          "filter": "\"attributes.gen_ai.span.kind\" IS NOT NULL AND \"attributes.gen_ai.span.kind\" != ''"
        }
      },
      {
        "id": "kind_preprocess",
        "type": "extend",
        "parameters": {
          "entry_input": "CASE WHEN \"attributes.gen_ai.span.kind\" = 'ENTRY' THEN \"attributes.gen_ai.input.messages\" ELSE CAST(NULL AS VARCHAR) END",
          "entry_output": "CASE WHEN \"attributes.gen_ai.span.kind\" = 'ENTRY' THEN \"attributes.gen_ai.output.messages\" ELSE CAST(NULL AS VARCHAR) END",
          "llm_model": "CASE WHEN \"attributes.gen_ai.span.kind\" = 'LLM' THEN CASE WHEN \"attributes.gen_ai.request.model\" IS NOT NULL AND ... THEN \"attributes.gen_ai.request.model\" ELSE spanname END ELSE CAST(NULL AS VARCHAR) END",
          "llm_input_messages": "...",
          "llm_output_messages": "...",
          "llm_input_tokens": "...",
          "llm_output_tokens": "...",
          "tool_name": "...",
          "agent_name": "...",
          "process_label": "..."
        }
      },
      {
        "id": "assemble",
        "type": "make-instance",
        "parameters": {
          "by": "traceid",
          "session_id": "first(\"attributes.gen_ai.session.id\")",
          "user_input": "first(entry_input)",
          "final_output": "last(entry_output)",
          "model_list": "array_distinct(llm_model)",
          "total_input_tokens": "sum(llm_input_tokens)",
          "total_output_tokens": "sum(llm_output_tokens)",
          "tool_name_list": "array_distinct(tool_name)",
          "tool_call_chain": "join(tool_name, ' → ')",
          "process_chain": "join(process_label, chr(10))",
          "span_kind_list": "array(\"attributes.gen_ai.span.kind\")",
          "start_time": "first(__time__)",
          "end_time": "last(__time__)",
          "trace_duration": "max(CAST(duration AS BIGINT))"
        }
      },
      {
        "id": "derive",
        "type": "extend",
        "parameters": {
          "total_tokens": "total_input_tokens + total_output_tokens",
          "span_count": "cardinality(span_kind_list)",
          "llm_count": "cardinality(filter(span_kind_list, x -> x = 'LLM'))",
          "tool_count": "cardinality(filter(span_kind_list, x -> x = 'TOOL'))",
          "trace_duration_ms": "CAST(trace_duration AS DOUBLE) / 1000000.0",
          "user_query": "CASE WHEN user_input IS NOT NULL ... END",
          "full_text": "concat('## 用户输入', chr(10), ..., '## 执行过程', ..., '## 最终输出', ...)"
        }
      },
      {
        "id": "filter_valid",
        "type": "where",
        "parameters": {
          "filter": "(user_input IS NOT NULL AND user_input != '') OR (first_llm_input IS NOT NULL AND first_llm_input != '')"
        }
      },
      {
        "id": "exact_dedup",
        "type": "dedup-exact",
        "parameters": { "field": "user_query" }
      },
      {
        "id": "fuzzy_dedup",
        "type": "dedup-fuzzy",
        "parameters": { "field": "user_query", "threshold": "3" }
      },
      {
        "id": "semantic_dedup",
        "type": "dedup-semantic",
        "parameters": { "field": "user_query", "threshold": "0.1" }
      },
      {
        "id": "cluster",
        "type": "semantic-cluster",
        "parameters": { "field": "__dedup_emb", "n": 20 }
      },
      {
        "id": "sample_per_cluster",
        "type": "sample",
        "parameters": { "n": 3, "by": "__cluster_id" }
      },
      {
        "id": "evaluate",
        "type": "llm-call",
        "parameters": {
          "prompt": "@eval/trace-eval-prompt.md",
          "fields": "user_query,process_chain,full_text",
          "format": "json",
          "as": "eval"
        }
      },
      {
        "id": "annotate",
        "type": "llm-call",
        "parameters": {
          "prompt": "@anno/trace-label-prompt.md",
          "fields": "user_query,process_chain",
          "format": "json",
          "model": "qwen-plus",
          "as": "anno"
        }
      }
    ]
  },
  "sink": {
    "type": "dataset",
    "dataset": {
      "workspace": "<your-workspace>",
      "dataset": "<your-dataset>"
    }
  },
  "executePolicy": {
    "mode": "run_once",
    "run_once": { "fromTime": 0, "toTime": 0 }
  }
}

通过控制台创建

登录AgentLoop控制台，在左侧导航栏数据集-数据处理中，选择应用模板，挑选OT-AI Trace 数据治理模板，单击创建任务。