Cloud Monitor：dedup-semantic（語義去重）

閾值選擇建議

輸入要求

• 接收上遊節點輸出的任意列資料。

• 要求資料中包含 field 參數指定的欄位，且該欄位為文本類型。

輸出資料行

行數變化

M -> N（M >= N）。語義相似的記錄歸為一簇，每簇保留一條，輸出行數小於或等於輸入行數。

處理前（5 條）

處理後（3 條）

"什麼是機器學習？"與"機器學習的定義是什嗎？"語義等價（向量距離小於 0.1），歸為一簇保留一條；"如何入門Python編程？"與"Python零基礎怎麼學？"同理。5 條資料去重後保留 3 條。__dedup_emb 列可供下遊 semantic-cluster 節點直接複用。

樣本一：批內語義去重

對當前批次內的 question 欄位進行語義去重，使用預設閾值 "0.1"。

{
  "id": "n4",
  "type": "dedup-semantic",
  "parameters": {
    "field": "question",
    "threshold": "0.1"
  }
}

樣本二：全域語義去重

開啟全域去重，與 Dataset 中的歷史向量進行跨批次語義比對。

{
  "id": "n4",
  "type": "dedup-semantic",
  "parameters": {
    "field": "question",
    "threshold": "0.1",
    "global": true,
    "workspace": "my-ws",
    "dataset": "my-ds"
  }
}

樣本三：三級去重完整管道

按照 精確去重 -> 近似去重 -> 語義去重的順序逐級去重。前置精確和近似去重可大幅減少語義去重的輸入資料量，降低 Embedding 計算成本。

{
  "nodes": [
    {
      "id": "n1",
      "type": "project",
      "parameters": {
        "question": "a",
        "input": "b",
        "output": "c"
      }
    },
    {
      "id": "n2",
      "type": "dedup-exact",
      "parameters": {
        "field": "question"
      }
    },
    {
      "id": "n3",
      "type": "dedup-fuzzy",
      "parameters": {
        "field": "question",
        "threshold": "3",
        "global": true,
        "workspace": "my-ws",
        "dataset": "my-ds"
      }
    },
    {
      "id": "n4",
      "type": "dedup-semantic",
      "parameters": {
        "field": "question",
        "threshold": "0.1",
        "global": true,
        "workspace": "my-ws",
        "dataset": "my-ds"
      }
    }
  ]
}

樣本四：自訂 Embedding 模型

指定 text-embedding-v3 模型，設定更嚴格的閾值 "0.05"，通過 column_name 顯式指定 Dataset 中的列名。

{
  "id": "n4",
  "type": "dedup-semantic",
  "parameters": {
    "field": "question",
    "threshold": "0.05",
    "model": "text-embedding-v3",
    "global": true,
    "workspace": "my-ws",
    "dataset": "my-ds",
    "column_name": "question"
  }
}

使用建議

• 預設閾值 "0.1" 適合大多數情境，數值越小越嚴格。

• __dedup_emb 擴充列可供下遊 semantic-cluster 節點直接複用，避免重複計算 Embedding。

• 全域去重適用於增量入庫情境，需確保 Dataset 已開啟向量索引。

• 無需在 dedup-semantic 前單獨調用 embedding 節點，該運算元內部已包含 Embedding 產生邏輯。

邊界與異常