Cloud Monitor：Agent資料去重清洗

適用人群

核心價值

• 無LLM調用，零AI成本。

• 精確+近似兩級去重，覆蓋完全相同和字面高度相似的重複。

• 秒級處理大規模日誌（單批萬級資料秒級完成）。

• 支援跨批次全域去重（可選），避免歷史資料重複入庫。

JSON API配置

以下為完整的 Pipeline JSON 配置樣本，需要將source中的project、logstore和query替換為實際值。

{
  "name": "agent_data_cleaning",
  "description": "Agent 資料去重清洗：精確 + 近似兩級去重，快速產出乾淨資料集",
  "source": {
    "type": "logstore",
    "logstore": {
      "project": "your-project",
      "logstore": "your-agent-logstore",
      "query": "serviceName:your-agent-service and *"
    }
  },
  "pipeline": {
    "nodes": [
      {
        "id": "select_fields",
        "type": "project",
        "parameters": {
          "input": "attributes.input.value",
          "output": "attributes.output.value",
          "model": "attributes.gen_ai.model_name",
          "trace_id": "traceId",
          "span_id": "spanId"
        }
      },
      {
        "id": "extract",
        "type": "extend",
        "parameters": {
          "question": "regexp_extract(input, '(?s)使用者提問原文：\\s*(.*?)\\s*,\\s*\"files\"', 1)"
        }
      },
      {
        "id": "filter_empty",
        "type": "where",
        "parameters": {
          "filter": "question IS NOT NULL AND length(question) > 0"
        }
      },
      {
        "id": "exact_dedup",
        "type": "dedup-exact",
        "parameters": {
          "field": "question"
        }
      },
      {
        "id": "fuzzy_dedup",
        "type": "dedup-fuzzy",
        "parameters": {
          "field": "question",
          "threshold": "3"
        }
      }
    ]
  },
  "sink": {
    "type": "dataset",
    "dataset": {
      "workspace": "your-workspace",
      "dataset": "agent_data_cleaned"
    }
  },
  "executePolicy": {
    "mode": "scheduled",
    "scheduled": {
      "fromTime": 1735689600,
      "interval": "15m"
    }
  }
}

資料來源參數

Pipeline 節點參數

輸出參數

調度參數

前提條件

• 已開通Log Service，並建立了Project和Logstore。關於Pipeline的基本概念，參見 Pipeline。

• Agent 日誌已接入目標Logstore。

• 已建立用於儲存清洗結果的資料集（Dataset）。

操作步驟

1. 根據實際的Agent 日誌Schema，修改project 節點的欄位對應。將parameters中的Key保持不變，將 Value 替換為實際日誌中對應的欄位路徑。

2. 修改extend 節點的Regex，使其匹配實際日誌中使用者提問的格式。

   說明

   如果日誌中使用者提問已經是獨立欄位（無需正則提取），可以將extend 節點替換為直接引用該欄位，或刪除此節點並修改後續節點的field參數。

3. 根據需要調整where 節點的過濾條件。例如，添加按服務名或時間範圍過濾的條件。

4. 根據資料特徵調整dedup-fuzzy的threshold參數。

   說明

   threshold表示允許的SimHash 差異位元。值為1時極其嚴格（僅去除幾乎完全相同的文本），值為5時較寬鬆（允許更多差異）。建議從預設值3開始，根據效果調整。

5. 將source中的project、logstore和query替換為實際值，將sink中的workspace和dataset替換為目標資料集資訊。

6. 通過API提交Pipeline 配置。