Elasticsearch：使用IK分詞外掛程式（analysis-ik）

分詞規則

IK分詞外掛程式的分詞器支援的分詞規則如下：

• ik_max_word：將文本按照最細粒度進行拆分，適合術語查詢。

• ik_smart：將文本按照粗粒度進行拆分，適合短語查詢。

詞典類型

IK分詞外掛程式支援的詞典類型及相關介紹如下。

詞典更新方式

若預設的詞典不符合您的業務需要，您也可按需更新詞典。IK分詞外掛程式支援的詞典更新方式如下。

冷更新

IK詞典冷更新操作如下：

1. 進入執行個體詳情頁。

   1. 登入Elasticsearch控制台。

   2. 在左側導覽列，單擊Elasticsearch執行個體。

   3. 在頂部功能表列，選擇資源群組和地區。

   4. 在Elasticsearch執行個體列表單擊目標執行個體ID，進入執行個體詳情頁。

2. 進入analysis-ik外掛程式的冷更新頁面。

   1. 在左側導覽列，選擇 配置與管理 > 外掛程式配置。

   2. 在系統預設外掛程式列表頁簽，找到analysis-ik外掛程式，單擊右側操作列的冷更新。

3. 執行冷更新操作。

   1. 在IK詞庫配置-冷更新對話方塊，單擊目標詞典右側的編輯，按照介面指引上傳所需的詞典檔案後單擊儲存。

      您可通過如下方式上傳詞典檔案：

      • 上傳本地檔案：按照介面指引，單擊表徵圖或通過拖拽方式上傳本地檔案。

      • 上傳OSS檔案：輸入Bucket名稱和詞典檔案名稱，單擊添加。

        • Bucket與阿里雲ES執行個體需在同一地區。

        • 不支援自動同步更新OSS中的詞典檔案。若源端OSS中的詞典檔案內容發生變化，需通過IK詞典更新操作使之生效。

      說明

      • 每種類型的詞典僅支援上傳一個DIC格式的檔案，且變更發起後會使用當前上傳的詞典替換原詞典。

      • 詞典檔案尾碼必須是.dic，檔案名稱可包含大小寫字母、數字和底線，長度不超過30個字元。

      • 如需恢複詞典的預設檔案，可下載預設詞典檔案後重新上傳。擷取預設詞典檔案，請參考：

        • 主詞典（main.dic）

        • 停用詞詞典（stopword.dic）

        • 介詞詞典（preposition.dic）

        • 量詞詞典（quantifier.dic）

   2. 勾選風險提示並單擊確定，重啟執行個體。

      ES執行個體重啟成功後，詞典檔案即更新成功。

4. （可選）測試詞典是否生效。

   1. 登入Kibana控制台。

   2. 單擊左上方的表徵圖，選擇Management > 开发工具，進入代碼編輯頁面。

      樣本執行如下代碼，對輸入文本電腦漢字輸入方法進行粗粒度切分。

      說明

      實際使用時，請將text的內容替換為您詞典中包含的詞。

      GET _analyze
      {
        "analyzer": "ik_smart",
        "text": "電腦漢字輸入方法"
      }

      預期的返回結果如下。

      {
        "tokens" : [
          {
            "token" : "電腦",
            "start_offset" : 0,
            "end_offset" : 3,
            "type" : "CN_WORD",
            "position" : 0
          },
          {
            "token" : "漢字輸入",
            "start_offset" : 3,
            "end_offset" : 7,
            "type" : "CN_WORD",
            "position" : 1
          },
          {
            "token" : "方法",
            "start_offset" : 7,
            "end_offset" : 9,
            "type" : "CN_WORD",
            "position" : 2
          }
        ]
      }

熱更新

IK詞典熱更新操作如下：

1. 進入執行個體詳情頁。

   1. 登入Elasticsearch控制台。

   2. 在左側導覽列，單擊Elasticsearch執行個體。

   3. 在頂部功能表列，選擇資源群組和地區。

   4. 在Elasticsearch執行個體列表單擊目標執行個體ID，進入執行個體詳情頁。

2. 進入analysis-ik外掛程式的熱更新頁面。

   1. 在左側導覽列，選擇 配置與管理 > 外掛程式配置。

   2. 在系統預設外掛程式列表頁簽，找到analysis-ik外掛程式，單擊右側操作列的熱更新。

3. 執行熱更新操作。

   1. 在IK詞庫配置-熱更新對話方塊，單擊目標詞典右側的編輯，按照介面指引上傳所需的詞典檔案後單擊儲存。

      您可通過如下方式上傳詞典檔案：

      • 上傳本地檔案：按照介面指引，單擊表徵圖或通過拖拽方式上傳本地檔案。

      • 上傳OSS檔案：輸入Bucket名稱和詞典檔案名稱，單擊添加。

        • Bucket與阿里雲ES執行個體需在同一地區。

        • 不支援自動同步更新OSS中的詞典檔案。若源端OSS中的詞典檔案內容發生變化，需通過IK詞典更新操作使之生效。

      說明

      • 支援上傳多個詞典檔案。詞典檔案尾碼必須是.dic，檔案名稱可包含大小寫字母、數字和底線，長度不超過30個字元。

      • 如需修改已上傳詞典的檔案內容，可單擊目標詞典檔案右側的表徵圖，下載並修改詞典檔案，然後刪除原詞典檔案並重新上傳。注意刪除原詞典檔案後，需單擊保存，否則上傳時會提示已存在同名檔案。

   2. 單擊確定，等待ES節點完成詞典載入。

      阿里雲ES節點的外掛程式具有自動載入詞典檔案的功能，但每個節點擷取詞典檔案的時間存在差異。載入完成後，詞典即可生效，請耐心等待。

4. （可選）測試詞典是否生效。

   1. 登入Kibana控制台。

   2. 單擊左上方的表徵圖，選擇Management > 开发工具，進入代碼編輯頁面。

      樣本執行如下代碼，對輸入文本電腦漢字輸入方法進行粗粒度切分。

      說明

      實際使用時，請將text的內容替換為您詞典中包含的詞。

      GET _analyze
      {
        "analyzer": "ik_smart",
        "text": "電腦漢字輸入方法"
      }

      預期的返回結果如下。

      {
        "tokens" : [
          {
            "token" : "電腦",
            "start_offset" : 0,
            "end_offset" : 3,
            "type" : "CN_WORD",
            "position" : 0
          },
          {
            "token" : "漢字輸入",
            "start_offset" : 3,
            "end_offset" : 7,
            "type" : "CN_WORD",
            "position" : 1
          },
          {
            "token" : "方法",
            "start_offset" : 7,
            "end_offset" : 9,
            "type" : "CN_WORD",
            "position" : 2
          }
        ]
      }

最佳化字母數字混合詞檢索

使用ik_max_word分詞器時，字母數字混合詞（如fawjh6bcm）可能無法被有效分詞以供檢索。可通過設定enable_single_word參數為true，將混合詞拆分為單字元 token，提升召回率。

以下樣本建立一個啟用enable_single_word的自訂分析器：

PUT my_index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "ik_single_char_analyzer": {
          "type": "custom",
          "tokenizer": "my_ik_tokenizer"
        }
      },
      "tokenizer": {
        "my_ik_tokenizer": {
          "type": "ik_max_word",
          "enable_single_word": true
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "content": {
        "type": "text",
        "analyzer": "ik_single_char_analyzer"
      }
    }
  }
}

使用ngram分詞器最佳化中英文混合搜尋

在搜尋連寫英文型號（如jh6bcm）與中文混合的情境中，IK分詞器可能無法產生有效 token 用於部分匹配。此時可使用 ngram tokenizer 替代或配合IK分詞器處理此類情境。

ngram tokenizer 將文本切分為指定長度的連續字元序列，可實現連寫字串的子串匹配。以下樣本建立一個使用 ngram tokenizer 的索引：

PUT my_ngram_index
{
  "settings": {
    "analysis": {
      "tokenizer": {
        "my_ngram_tokenizer": {
          "type": "ngram",
          "min_gram": 2,
          "max_gram": 3,
          "token_chars": ["letter", "digit"]
        }
      },
      "analyzer": {
        "ngram_analyzer": {
          "type": "custom",
          "tokenizer": "my_ngram_tokenizer"
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "model_number": {
        "type": "text",
        "analyzer": "ngram_analyzer"
      }
    }
  }
}

關於 ngram tokenizer 的更多配置資訊，請參見Ngram tokenizer。

同義字檔案中包含大寫單詞導致報錯怎麼辦？

IK分詞器處理同義字時對大小寫敏感。如果同義字檔案中包含大寫單詞（如IT），可能引發解析錯誤。

可通過以下任一方式解決：

• 將同義字檔案中的所有詞彙統一轉換為小寫：編輯同義字檔案，將所有條目轉為小寫後重新上傳。

• 在 analyzer filter 配置中添加 lowercase 過濾器：在分析器配置中，在 synonym 過濾器之前添加lowercase過濾器，確保分詞前文本已轉為小寫。樣本：

  PUT my_index
  {
    "settings": {
      "analysis": {
        "filter": {
          "my_synonym_filter": {
            "type": "synonym",
            "synonyms_path": "your_synonyms.txt"
          }
        },
        "analyzer": {
          "ik_synonym_analyzer": {
            "type": "custom",
            "tokenizer": "ik_max_word",
            "filter": ["lowercase", "my_synonym_filter"]
          }
        }
      }
    }
  }

  重要

  lowercase過濾器必須排在 synonym 過濾器之前，確保文本在同義字匹配前已轉為小寫。