Alibaba Cloud Model Studio：RAG效果最佳化

2.2.1 智能切分

選擇適合您知識庫的文本切片長度並非易事，因為這必須考慮多種因素，例如：

• 文檔的類型：例如，對於專業類文獻，增加長度通常有助於保留更多上下文資訊；而對於社交類文章，縮短長度則能更準確地捕捉語義。

• 提示詞的複雜度：一般來說，如果使用者的提示詞較複雜且具體，則可能需要增加長度；反之，縮短長度會更為合適。

當然，上述結論並不一定適用於所有情況，您需要選擇合適的工具反覆實驗（例如LlamaIndex提供對不同切片方法的評估功能），才能找到合適的文本切片長度，但顯然這並非易事。

如果您希望在短時間內獲得良好的效果，建議您在建立知識庫時，文檔切分chunk選擇智能切分。

應用這一策略時，知識庫會：

1. 首先利用系統內建的分句標識符將文檔劃分為若干段落。

2. 基於劃分的段落，根據語義相關性自適應地選擇切片點進行切分（語義切分），而非根據固定長度進行切分。

在上述過程中，知識庫將努力確保文檔各部分的語義完整性，盡量避免不必要的劃分和切分。這一策略將應用於該知識庫中的所有文檔（包括後續匯入的文檔）。

2.2.2 修本文本切片內容

當然，在實際切片的過程中，仍然存在一定幾率會出現意外的切分，或者出現其它問題（例如文本中的空格有時切片後會被解析為%20）。

因此，阿里雲百鍊建議您在成功將文檔匯入知識庫後，進行一次人工檢查，以確認文本切片內容的語義完整性和正確性。如果發現意外的切分或其他解析錯誤，您可以直接編輯文本切片進行修正（儲存後，文本切片原有的內容將失效，新的內容將用於知識庫檢索）。

請注意，此處您只是修改了知識庫中的文本切片，並未修改您在資料管理（臨時儲存）中的原文檔或資料表。因此，後續再次匯入知識庫時，仍需您進行人工檢查和修正。

2.3.1 多輪對話改寫

在多輪會話中，假設使用者某次使用了類似“阿里雲百鍊手機X1”這樣提示詞進行提問。看似簡短，卻可能導致 RAG 系統在檢索時缺乏必要的上下文資訊，原因是：

• 一款手機產品通常會有多個代際版本同時在售。

• 對於同一代產品，廠家通常會提供多種儲存容量選項，比如128GB、256GB等。

  ...

而這些關鍵資訊可能使用者在之前的會話中已經給出，如果能夠有效利用，將能夠協助 RAG 更準確地進行檢索。

針對這種情況，您可以使用阿里雲百鍊的多輪對話改寫功能。系統會根據之前的會話，自動將使用者的提示詞改寫為更完整的形式。

比如使用者提問：

阿里雲百鍊手機X1。

在啟用多輪對話改寫功能的情況下，系統會根據與該使用者此前的歷史會話，在檢索前對該使用者的提示詞進行改寫（僅樣本）：

請提供產品庫中所有在售版本的阿里雲百鍊手機X1及其具體參數資訊。

顯然，這樣改寫後的提示詞可以協助 RAG 更好地理解使用者的意圖，讓回答更加準確。

下圖為您展示了如何開啟多輪對話改寫功能（選擇圖中的推薦配置時，同樣也會開啟本功能）。

請注意，多輪對話改寫功能是與知識庫綁定的，開啟後僅對當前知識庫相關的查詢生效。且如果您在建立知識庫時未啟用該配置，則後續無法再為該知識庫開啟，除非重新建立知識庫。

2.3.2 標籤過濾

本段落內容僅適用於文檔搜尋類知識庫。

想象一下，您在使用一些音樂APP時，可能有時會通過歌手名稱來篩選歌曲，從而快速找到同一類（該歌手唱的）歌曲。

類似地，為您的非結構化文檔添加標籤可以引入額外的結構化資訊。這樣應用在檢索知識庫時，會先根據標籤篩選文檔，從而提升檢索的準確性和效率。

目前阿里雲百鍊支援以下兩種方式設定標籤：

• 在上傳文檔時設定標籤：控制台操作步驟請參見匯入資料。

• 在資料管理頁面編輯標籤：對於已上傳的文檔，可單擊文檔右側的標籤進行編輯。

  

目前阿里雲百鍊支援以下兩種方式使用標籤：

• 通過API調用阿里雲百鍊應用時，可以在請求參數tags中指定標籤。

• 在控制台編輯應用時設定標籤（但本方式僅適用於智能體應用）。

  請注意，此處的設定將應用於該智能體應用後續的所有使用者問答。

  

2.3.3 提取中繼資料

本段落內容僅適用於文檔搜尋類知識庫。

將中繼資料嵌入文本切片，可以有效增強每個切片的上下文資訊。在特定情境下，這種方法能夠顯著提升文檔搜尋類知識庫的 RAG 效果。

假設以下情境：

某知識庫中有大量手機產品說明文檔，文檔名稱為手機的型號（比如阿里雲百鍊X1、阿里雲百鍊Zephyr Z9等），且所有文檔都包含「功能概述」章節。

當該知識庫未啟用中繼資料時，使用者輸入以下提示詞進行檢索：

阿里雲百鍊手機X1的功能概述。

通過點擊測試，您可以查看檢索實際召回了哪些切片（如下圖所示）。由於所有文檔都包含“功能概述”，因此知識庫會召回一些與查詢實體（阿里雲百鍊手機X1）無關但和提示詞相似的文本切片（如下圖中的切片1、切片2），它們的排名甚至高於我們實際需要的文本切片。這顯然會影響到 RAG 的效果。

點擊測試的召回結果只保證排名，相似值的絕對值大小僅供參考。當絕對值的差別不大時（5%以內），可基本認為召回機率一樣。

接下來，我們將手機名稱，按照metadata抽取中提到的步驟，設定為中繼資料（相當於讓每篇文檔相關的文本切片帶上各自對應的手機名稱資訊），然後再進行一次相同的測試作為對比。

此時，知識庫會在向量檢索前增加一層結構化搜尋，完整過程如下：

1. 從提示詞中提取中繼資料 {"key": "name", "value": "阿里雲百鍊手機X1"}。

2. 根據提取的中繼資料，找到所有包含“阿里雲百鍊手機X1”中繼資料的文本切片。

3. 再進行向量（語義）檢索，找到最相關的文本切片。

啟用中繼資料後的點擊測試實際召回效果如下圖所示。可以看到，知識庫此時已經可以精準找到與“阿里雲百鍊手機X1”相關且包含“功能概述”的文本切片。

除此以外，中繼資料的一個常見應用是在文本切片中嵌入日期資訊，以便過濾最近的內容。更多中繼資料用法，請參見metadata抽取。

2.3.4 調整相似性閾值

當知識庫找到和使用者提示詞相關的文本切片後，會先將它們發送給Rank模型（在建立知識庫的自訂參數設定中）進行重排序，而相似性閾值則用於篩選經過Rank模型重排序後返回的文本切片，只有相似性分數超過此閾值的文本切片才有可能被提供給大模型。

調低此閾值，預期可能會召回更多文本切片，但也可能導致召回一些相關度較低的文本切片；提高此閾值，可能會減少召回的文本切片。

若設定得過高（如下圖所示），則可能導致知識庫丟棄所有相關的文本切片，這將限制大模型擷取足夠背景資訊產生回答。

沒有最好的閾值，只有最適合您情境的閾值。您需要通過點擊測試反覆實驗不同的相似性閾值，觀察召回結果，找到最適合您需求的方案。

2.3.5 提高召回片段數

召回片段數即多路召回策略中的K值。經過前面的相似性閾值過濾後，如果文本切片數量超過K，系統最終會選取相似性分數最高的 K 個文本切片提供給大模型。也正因為此，不合適的K值也可能會導致 RAG 漏掉正確的文本切片，從而影響大模型產生完整的回答。

比如下面的這個例子，使用者通過以下提示詞進行檢索：

阿里雲百鍊X1手機有什麼優勢？

從下方示意圖可以看到，目標知識庫中實際與使用者提示詞相關，需要返回的文本切片總共有7個（下圖左側，已用綠色標出），但由於已經超出了當前設定的最大召回片段數K，因此包含優勢5（超長待機）和優勢6（拍照清晰）的文本切片被捨棄，沒有提供給大模型。

由於 RAG 本身無法判斷需要多少個文本切片才能給出“完整”的答案，因此即使最終提供的文本切片有遺漏，隨後大模型仍然會基於缺失的文本切片產生不完整的回答。

大量實驗結果表明：在諸如“列舉...”、“總結...”，“比較一下X、Y...”等情境中，提供更多高品質的文本切片（例如K=20）給大模型，比僅提供前10個或前5個文本切片效果更好。雖然這樣做可能會引入雜訊資訊，但如果文本切片品質較高的話，大模型通常能夠有效抵消雜訊資訊的影響。

您可以在編輯阿里雲百鍊應用時調整召回片段數。

請注意，召回片段數也並非越大越好。因為有時召回的文本切片在拼裝後，其總長度會超出大模型的輸入長度限制，導致部分文本切片被截斷，反而影響了 RAG 的效果。

因此，推薦您選擇智能拼裝。這一策略會在不超過大模型最大輸入長度的前提下，儘可能多地為您召回相關的文本切片。

方法一：對輸出的內容進行限定

您可以在提示詞模板中提供上下文資訊、指令以及預期的輸出形式，用於指示大模型完成任務。例如，您可以加入以下輸出指示要求大模型：

如果所提供的資訊不足以回答問題，請明確告知“根據現有資訊，我無法回答這個問題”。切勿編造答案。

來減少大模型出現幻覺的幾率。

方法二：添加樣本

使用少樣本提示（Few-Shot Prompting）的方法，將希望大模型模仿的問答樣本添加到提示詞中，引導大模型正確利用檢索到的知識（下方樣本使用的是通義千問-Plus）。

# 要求
請從下方文本中提取技術規格，並以 JSON 格式展示。
${documents}

# 要求
請從下方文本中提取技術規格，並以 JSON 格式展示，請嚴格按照樣本給定的欄位展示。
${documents}

# 樣本
## 輸入：星塵S9Pro, 突破性6.9英寸1440 x 3088像素屏下網路攝影機設計，帶來無界視覺享受。512GB儲存與16GB RAM的頂級配置，配合6000mAh電池與100W快充技術，讓效能與續航並駕齊驅，引領科技潮流。參考售價：5999 - 6499。
## 輸出：{ "product":"星塵S9 Pro", "screen_size":"6.9inch", "ram_size": "16GB", "battery":"6000mAh" }

方法三：新增內容分隔標記

檢索召回的文本切片如果隨意混雜在提示詞模板中，不利於大模型理解整個提示詞的結構。因此，建議您將提示詞和變數${documents}明確分開。

此外，為了保證效果，請確保您的提示詞模板中變數${documents}只出現一次（請參考下方左邊的正確樣本）。

# 角色
你是一名客服人員，專註於分析和解決使用者的問題，並通過檢索知識庫提供準確的解決方案。

# 要求
**直接返回結果**：請根據使用者輸入的提示詞以及知識庫中的內容給出直接返回結果，無需
進行推理。
**返回的結果中不要包含具體連絡方式**：返回的結果中僅需包含對使用者提示詞的總結、相
關在職人員的姓名及其負責的內容。
**預設連絡人**：如果找不到相關的在職人員，請直接返回“今日值班人：阿里雲百鍊客服01”。

# 知識庫
請記住以下材料，它們可能對回答問題有協助。
${documents}

# 角色
你是一名客服人員，專註於分析和解決使用者的問題，並通過檢索知識庫提供準確的解決方案。
請利用${documents}中的資訊來輔助解答。

# 要求
**直接返回結果**：請根據使用者輸入的提示詞以及知識庫中的內容給出直接返回結果，無需
進行推理。
**返回的結果中不要包含具體連絡方式**：返回的結果中僅需包含對使用者提示詞的總結、相
關在職人員的姓名及其負責的內容。
**預設連絡人**：如果找不到相關的在職人員，請直接返回“今日值班人：阿里雲百鍊客服01”。

# 知識庫
請記住以下材料，它們可能對回答問題有協助。
${documents}