Cloud Monitor：OT-Trace 資料治理

Phase 1：資料群組裝

將 OT-Trace 中的離散 Span 組裝為完整的 Trace 級寬表。

Phase 2：三級去重

遞進式去重：精確去重、近似去重、語義去重逐級清洗，大幅降低資料量。

Phase 3：多樣性採樣

對去重後的資料進行語義聚類和分組採樣，確保產出資料覆蓋多種情境。

Phase 4：AI處理

對採樣後的代表性資料進行AI 品質評估和情境標註。

你是一位專業的 AI Agent 對話品質評估專家，擅長從完整 Trace 視角評估 Agent 的端到端執行效果。

請根據以下評估維度，對這次 Agent 執行進行全面評估：

評估維度：

需求理解: Agent 是否準確理解了使用者的核心訴求？是否遺漏關鍵約束或越界推斷？（0-5分）
執行策略: Agent 的工具調用鏈是否合理高效？是否存在冗餘調用或遺漏關鍵步驟？（0-5分）
響應品質: 最終輸出是否準確、完整地解決了使用者問題？資訊是否有價值？（0-5分）
資源效率: Token 消耗是否合理？LLM 調用次數與任務複雜度是否匹配？（0-5分）
錯誤處理: 執行過程中是否有異常？異常處理是否得當？（0-5分）
評估參考：

單次對話 Token 消耗 > 50000 需要特別關注效率
工具調用次數 > 10 需要評估是否存在冗餘迴圈
有 error span 需重點檢查錯誤處理策略
現在請評估以下 Agent 執行 Trace：

使用者輸入：{{user_query}} 執行過程：{{process_chain}} 最終輸出摘要：{{full_text}}

請輸出JSON格式： { “需求理解”: {“score”: 分數, “reason”: “簡短理由”}, “執行策略”: {“score”: 分數, “reason”: “簡短理由”}, “響應品質”: {“score”: 分數, “reason”: “簡短理由”}, “資源效率”: {“score”: 分數, “reason”: “簡短理由”}, “錯誤處理”: {“score”: 分數, “reason”: “簡短理由”}, “overall_score”: 綜合分數, “quality_tier”: “A/B/C/D 四級評定” }

【重要】只輸出純JSON，不要添加任何markdown標記（如json或）。

你是一位專業的 AI Agent 資料標註專家，擅長對 Agent 對話互動進行多維度情境分類和結構化標註。

請根據以下標註維度，對這次 Agent 執行進行分析標註：

標註維度：

任務類型: Agent 執行的核心任務類別。可選值：故障診斷, 資料查詢, 指標分析, 警示處理, 配置變更, 知識問答, 報告產生, 其他
任務複雜度: 請求的技術複雜度。可選值：簡單（單步操作）, 中等（多步串聯）, 複雜（多工具協同）, 極複雜（多輪推理+異構資料）
工具使用模式: Agent 的工具調用模式。可選值：無工具, 單工具單次, 單工具多次, 多工具串列, 多工具並行, 嵌套調用
執行結果: 任務執行結果。可選值：完全成功, 部分成功, 執行失敗, 逾時中斷, 需人工介入
業務領域: 涉及的可觀測性領域。可選值：APM, 日誌分析, 指標監控, 鏈路追蹤, 基礎設施, 安全審計, 跨域綜合
補充標籤: 捕捉固定維度無法覆蓋的細粒度特徵標籤
標註樣本：

使用者問"為什麼服務響應變慢了？" → 任務類型=故障診斷, 複雜度=複雜, 領域=APM
使用者問"查看最近1小時的錯誤記錄檔" → 任務類型=資料查詢, 複雜度=簡單, 領域=日誌分析
使用者問"對比昨天和今天的延遲趨勢" → 任務類型=指標分析, 複雜度=中等, 領域=指標監控
現在請標註以下 Agent 執行資料：

使用者輸入：{{user_query}} 執行過程：{{process_chain}}

請輸出JSON格式： { “任務類型”: “從可選值中選擇”, “任務複雜度”: “從可選值中選擇”, “工具使用模式”: “從可選值中選擇”, “執行結果”: “從可選值中選擇”, “業務領域”: “從可選值中選擇”, “補充標籤”: [“標籤1”, “標籤2”] }

【重要】只輸出純JSON，不要添加任何markdown標記（如json或）。

以下為完整的 Pipeline JSON 配置，可直接通過 API 提交建立 Pipeline。

{
  "name": "ot_trace_data_governance",
  "description": "OT-Trace Trace 粒度：Agent 對話資料治理",
  "source": {
    "type": "logstore",
    "logstore": {
      "project": "<your-project>",
      "logstore": "<your-logstore>",
      "query": "*"
    }
  },
  "pipeline": {
    "nodes": [
      {
        "id": "kind_filter",
        "type": "where",
        "parameters": {
          "filter": "\"attributes.gen_ai.span.kind\" IS NOT NULL AND \"attributes.gen_ai.span.kind\" != ''"
        }
      },
      {
        "id": "kind_preprocess",
        "type": "extend",
        "parameters": {
          "entry_input": "CASE WHEN \"attributes.gen_ai.span.kind\" = 'ENTRY' THEN \"attributes.gen_ai.input.messages\" ELSE CAST(NULL AS VARCHAR) END",
          "entry_output": "CASE WHEN \"attributes.gen_ai.span.kind\" = 'ENTRY' THEN \"attributes.gen_ai.output.messages\" ELSE CAST(NULL AS VARCHAR) END",
          "llm_model": "CASE WHEN \"attributes.gen_ai.span.kind\" = 'LLM' THEN CASE WHEN \"attributes.gen_ai.request.model\" IS NOT NULL AND ... THEN \"attributes.gen_ai.request.model\" ELSE spanname END ELSE CAST(NULL AS VARCHAR) END",
          "llm_input_messages": "...",
          "llm_output_messages": "...",
          "llm_input_tokens": "...",
          "llm_output_tokens": "...",
          "tool_name": "...",
          "agent_name": "...",
          "process_label": "..."
        }
      },
      {
        "id": "assemble",
        "type": "make-instance",
        "parameters": {
          "by": "traceid",
          "session_id": "first(\"attributes.gen_ai.session.id\")",
          "user_input": "first(entry_input)",
          "final_output": "last(entry_output)",
          "model_list": "array_distinct(llm_model)",
          "total_input_tokens": "sum(llm_input_tokens)",
          "total_output_tokens": "sum(llm_output_tokens)",
          "tool_name_list": "array_distinct(tool_name)",
          "tool_call_chain": "join(tool_name, ' → ')",
          "process_chain": "join(process_label, chr(10))",
          "span_kind_list": "array(\"attributes.gen_ai.span.kind\")",
          "start_time": "first(__time__)",
          "end_time": "last(__time__)",
          "trace_duration": "max(CAST(duration AS BIGINT))"
        }
      },
      {
        "id": "derive",
        "type": "extend",
        "parameters": {
          "total_tokens": "total_input_tokens + total_output_tokens",
          "span_count": "cardinality(span_kind_list)",
          "llm_count": "cardinality(filter(span_kind_list, x -> x = 'LLM'))",
          "tool_count": "cardinality(filter(span_kind_list, x -> x = 'TOOL'))",
          "trace_duration_ms": "CAST(trace_duration AS DOUBLE) / 1000000.0",
          "user_query": "CASE WHEN user_input IS NOT NULL ... END",
          "full_text": "concat('## 使用者輸入', chr(10), ..., '## 執行過程', ..., '## 最終輸出', ...)"
        }
      },
      {
        "id": "filter_valid",
        "type": "where",
        "parameters": {
          "filter": "(user_input IS NOT NULL AND user_input != '') OR (first_llm_input IS NOT NULL AND first_llm_input != '')"
        }
      },
      {
        "id": "exact_dedup",
        "type": "dedup-exact",
        "parameters": { "field": "user_query" }
      },
      {
        "id": "fuzzy_dedup",
        "type": "dedup-fuzzy",
        "parameters": { "field": "user_query", "threshold": "3" }
      },
      {
        "id": "semantic_dedup",
        "type": "dedup-semantic",
        "parameters": { "field": "user_query", "threshold": "0.1" }
      },
      {
        "id": "cluster",
        "type": "semantic-cluster",
        "parameters": { "field": "__dedup_emb", "n": 20 }
      },
      {
        "id": "sample_per_cluster",
        "type": "sample",
        "parameters": { "n": 3, "by": "__cluster_id" }
      },
      {
        "id": "evaluate",
        "type": "llm-call",
        "parameters": {
          "prompt": "@eval/trace-eval-prompt.md",
          "fields": "user_query,process_chain,full_text",
          "format": "json",
          "as": "eval"
        }
      },
      {
        "id": "annotate",
        "type": "llm-call",
        "parameters": {
          "prompt": "@anno/trace-label-prompt.md",
          "fields": "user_query,process_chain",
          "format": "json",
          "model": "qwen-plus",
          "as": "anno"
        }
      }
    ]
  },
  "sink": {
    "type": "dataset",
    "dataset": {
      "workspace": "<your-workspace>",
      "dataset": "<your-dataset>"
    }
  },
  "executePolicy": {
    "mode": "run_once",
    "run_once": { "fromTime": 0, "toTime": 0 }
  }
}

通過控制台建立

登入AgentLoop控制台，在左側導覽列資料集-資料處理中，選擇應用模板，挑選OT-AI Trace 資料治理模板，單擊建立任務。