控制台中內建了問答測試頁面方便使用者進行問答測試,輸入問題模型就會匹配到對應的結果進行回答。完成執行個體配置後,您可針對不同情境和不同期望效果設定相應參數,通過體驗問答效果,來選擇最優參數。本文以控制台操作為例介紹如何進行問答測試並對可自訂的參數進行說明。
前提條件
操作步驟
以下操作步驟將以視頻檔案為例,展示從視頻上傳到知識庫自動解析的完整操作流程,並基於視頻內容進行問答測試,最終返回相關結果。
登入OpenSearch控制台選擇LLM智能問答版,選擇左側導覽列執行個體管理,單擊對應的執行個體操作欄下的管理按鈕,進入執行個體詳情頁面,選擇配置中心,進入資料配置,點擊檔案匯入,選擇需要上傳的檔案,單擊上傳檔案匯入至知識庫。

等待檔案上傳成功,當資料查詢狀態為完成後,單擊左側導覽列問答測試,即可向模型進行提問。

進入問答測試後,單擊右上方模型配置,可根據搜尋需求填寫對應的問答參數、Prompt參數、文檔召回參數、參考圖片參數、Query理解參數、人工幹預參數及其它參數,然後在對話方塊輸入需要詢問的內容,單擊發送按鈕。
查看問答測試效果,會基於上傳的知識庫內容返回結果。
參數說明
問答參數說明 | ||||
參數 | 類型 | 必需 | 預設值 | 描述 |
options.chat.model | String | 是 | opensearch-qwen | 選擇的LLM(大語言模型),各個模型在支援的上下文長度以及最大輸入、輸出Token數有所區別: |
Prompt | String | 否 | 系統預設範本 | 表示該次搜尋使用的Prompt。可選擇的Prompt請參考:Prompt管理 |
question.session | Boolean | 否 | true |
|
options.chat.enable_deep_search | Boolean | 否 | false | 是否開啟深度搜尋。
|
options.retrieve.web_search.enable | Boolean | 否 | false | 是否開啟全網搜尋。
|
options.chat.stream | Boolean | 否 | true | 是否啟用流式返回結果。
|
Prompt參數說明 | |||
參數 | 類型 | 必需 | 描述 |
options.chat.prompt_config.attitude | String | 否 |
|
options.chat.prompt_config.rule | String | 否 | 對話內容的詳細程度,預設為detailed。
|
options.chat.prompt_config.noanswer | String | 否 | 無法回答問題時的回複,預設為sorry。
|
options.chat.prompt_config.language | String | 否 | 回答問題使用的語言,預設為Chinese
|
options.chat.prompt_config.role | Boolean | 否 | 是否開啟回答角色。開啟後,將定製回答的角色。 |
options.chat.prompt_config.role_name | String | 否 | 定製回答的角色,例如:AI Assistant。 |
options.chat.prompt_config.out_format | String | 否 | 輸出內容的形式,預設為text。
|
文檔召回參數說明 | |||
參數 | 類型 | 必需 | 描述 |
options.retrieve.doc.filter | String | 否 | 從知識庫中召回篩選條件的資料時,需要明確指定相應的欄位及滿足的條件。預設為空白。filter使用樣本可參考:filter參數。 支援的欄位:
樣本格式: |
options.retrieve.doc.top_n | Integer | 否 | 召回的文檔數量,預設為5個,取值範圍:(0, 50]。 |
options.retrieve.doc.sf | Float | 否 | 控制向量召回的向量分數的閾值。
|
options.retrieve.doc.dense_weight | Float | 開啟稀疏向量後,控制文檔召回時,稠密向量的權重。取值範圍:(0.0, 1.0),預設值為0.7。 | |
options.retrieve.doc.formula | String | 否 | 指定召回時,文檔排序的公式。 說明 文法請參考業務排序函數,其中的演算法相關性和地理位置相關性的特徵不支援。 |
options.retrieve.doc.operator | String | 否 | 在知識庫召回時,question.text分詞後的term的關係。該參數只有在沒有啟用稀疏向量時生效。
|
參考圖片參數說明 | ||||
參數 | 類型 | 必需 | 預設值 | 描述 |
options.retrieve.image.sf | Float | 否 | 1 | 控制向量召回的向量分數的閾值。
|
options.retrieve.image.dense_weight | Float | 否 | 0.7 | 開啟稀疏向量後,控製圖片召回時,稠密向量的權重。取值範圍:(0.0, 1.0),預設值為0.7。 |
Query理解參數說明 | ||||
參數 | 類型 | 必需 | 取值範圍 | 描述 |
options.retrieve.qp.query_extend | Boolean | 否 | - | 是否對使用者query進行擴充,擴充query會用來在引擎中召迴文檔切片。預設為false。
|
options.retrieve.qp.query_extend_num | Integer | 否 | (0,+∞) | 開啟相似query擴充時,最多擴充幾個query,預設值為5。 |
人工幹預參數說明 | |||
參數 | 類型 | 必需 | 描述 |
options.retrieve.entry.sf | Float | 否 | 控制召回人工幹預的向量分閾值。取值範圍:[0, 2.0],預設值是0.3,該值越小,結果越相關,但結果數量會越少;反之,可能會召回不太相關的結果。 |
其它參數說明 | |||
參數 | 類型 | 必需 | 描述 |
options.retrieve.return_hits | Boolean | 否 | 是否在結果中返迴文檔召回的結果,即response中的search_hits。 |
options.chat.history_max | Integer | 否 | 多輪對話歷史最大輪數,最大20輪,預設是1。 |
options.chat.link | Boolean | 否 | 是否返回連結。控制模型產生的內容是否標識內容引用的來源。取值:
包含內容的返回資訊執行個體如下: 其中被 |
options.chat.rich_text_strategy | String | 否 | 富文本LLM輸出後處理方式(如果不存在這個配置或者為空白則不開富文本,預設行為):
詳情請參見富文本功能。 |
options.retrieve.graph | Boolean | 否 | 根據圖關係進行查詢聯想與召回,需在資料配置中開啟GraphRAG後生效。 |
options.chat.enable_llm_knowledge | Boolean | 否 | 開啟後,如果搜尋無結果,將使用大模型進行兜底回答。 true:開啟。 false:關閉。 |