OpenSearch：實體識別幹預詞典

概念介紹

實體識別幹預

可以通過建立實體幹預詞典並在查詢分析的實體識別中進行配置，來幹預實體識別結果。因語義實體與分詞器密切相關，需要在建立幹預詞典時選擇分析器。查詢分析配置時，只有索引的分析器與幹預詞典的分詞器一致時，才可使用該詞典。

實體重要性幹預

為了方便使用者使用，當前系統提供預設的實體重要性配置。使用者可以根據實際業務情況，自主地調整配置。這裡調整會影響query的改寫規則。

• 查詢詞命中多個幹預詞條時，匹配權重靠前的幹預詞條優先生效。

• 若匹配權重相同，則位置靠前的幹預詞條優先生效。

• 若匹配位置相同，則優先使用語義term個數多的幹預詞條。

使用介紹

目前支援對系統內建的實體識別詞典進行人工幹預。使用者實現幹預操作的過程通常有以下四步：

1. 建立實體識別幹預詞典。使用者通過搜尋演算法中心--->召回配置--->詞典管理，進入查詢分析幹預詞典頁後，點擊頁面右上方的“建立”。選擇了詞典類型後，為詞典命名，幹預詞典建立完成，詞典會出現在頁面的詞典列表中。

2. 新增和管理幹預詞典內的幹預詞條。詞典建立完成後，在列表中點擊詞典名稱或點擊詞典對應的“管理”，即可進入到幹預詞典的詳情頁。使用者可在詳情頁內進行幹預詞條的新增和管理。

3. 使用幹預詞典。建立並填充完成實體識別幹預詞典後，可在應用的查詢分析內選擇使用。

4. 幹預詞典效果測試和上線。查詢分析規則使用了幹預詞典後，應用到線上之前建議先進行搜尋效果測試，評估效果是否符合幹預預期。

實戰演練

業務情境：某電商導購類業務在OpenSearch的應用執行個體中配置使用了查詢分析規則，規則包含實體識別功能，但是線上上發現了badcase，於是決定使用幹預功能。

badcase：使用者搜尋Query“香奈兒氣墊”，預設的實體識別，將“香奈兒”歸類為“普通詞”；“氣墊”歸類為“材質”。 改寫query後為，title:’氣墊’ RANK title:’香奈兒’。但業務上“香奈兒”不是普通詞。問題診斷：業務特殊專有名詞，需要進行實體識別幹預。

解決方案：建立實體識別幹預詞典，再將該幹預詞典應用線上上使用的查詢分析規則中。

操作步驟：

1. 在控制台>搜尋演算法中心>召回配置>詞典管理，建立實體識別詞典：

   填寫名稱，詞典類型選擇實體識別，分析類型選擇系統內建分析器/自定分析器（根據查詢分析中配置的分析器類型選擇），關聯分析器中會自動過濾出合格分析器（僅支援電商分詞類型配置實體識別）。

   若查詢分析中配置的索引為定製模型分析器，則分析器類型選擇定製模型分析器，執行個體選擇Ha3引擎，並選擇對應的應用程式名稱，關聯分析器與查詢分析中配置的分析器保持一致。

2. 在建立的實體識別幹預詞典裡新增幹預詞條，填寫query，並修改系統識別結果：

   原始的錯誤識別實體結果：

   查詢詞為香奈兒氣墊，系統將香奈兒識別為普通詞，將氣墊識別為材質。幹預後的結果：Query 為 香奈兒氣墊，單擊擷取系統識別結果後，系統將實體詞香奈兒識別為品牌，將氣墊識別為材質。

   若實體識別詞典是基於定製模型分析器建立的，在新增幹預詞典時需要選擇分析器的版本，即定製召回模型使用的模型版本。

   重要

   幹預類型中，完整匹配表示輸入Query與幹預Query完全相同時進行幹預；部分匹表示輸入Query包含幹預Query時進行幹預。

3. 在查詢分析介面把剛剛建立的“實體識別幹預詞典”先應用在一個未上線的查詢分析規則中，以便進行搜尋效果測試：

   在查詢分析配置列表中，找到目標未上線的查詢分析規則，單擊其操作列的配置按鈕進入詳細配置頁面。勾選實體識別功能，在幹預詞典下拉框中選擇dic_entity，將是否忽略空格設定為是，然後單擊確定。

   重要

   是否忽略空格功能指當在使用實體識別幹預時是否忽略query中的空格（預設不開啟），例：輸入Query：“連衣裙 女” ，幹預詞條：“連衣裙女”，選擇“是”則按幹預詞典中的實體詞進行幹預，選擇“否”則不進行幹預。

4. 搜尋測試是否符合預期效果：（召回了有關“香奈兒氣墊”的doc）

   在搜尋測試頁面，query 欄位輸入 title:'香奈兒氣墊'，qp 參數設定為 test_entity。搜尋後，實際查詢詞被改寫為 (name:"香奈兒" AND name:"氣墊")，表明查詢分析外掛程式已生效，成功返回 1 條匹配文檔"香奈兒新款水凝凍時尚裸光果凍氣墊粉餅BB霜"。