使用AI RAG功能對接向量檢索服務DashVector-微服務引擎-阿里雲

通過對接阿里雲向量檢索服務DashVector實現LLM-RAG，流程如圖所示：

運行屬性

外掛程式執行階段：預設階段，外掛程式執行優先順序：400。

配置說明

名稱	資料類型	填寫要求	預設值	描述
`dashscope.apiKey`	string	必填	-	用於在訪問千問服務時進行認證的令牌。
`dashscope.serviceFQDN`	string	必填	-	千問服務名。
`dashscope.servicePort`	int	必填	-	千問服務連接埠。
`dashscope.serviceHost`	string	必填	-	訪問千問服務時網域名稱。
`dashvector.apiKey`	string	必填	-	用於在訪問阿里雲向量檢索服務DashVector時進行認證的令牌。
`dashvector.serviceFQDN`	string	必填	-	阿里雲向量檢索服務DashVector名。
`dashvector.servicePort`	int	必填	-	阿里雲向量檢索服務DashVector連接埠。
`dashvector.serviceHost`	string	必填	-	訪問阿里雲向量檢索服務DashVector的網域名稱。
`dashvector.topk`	int	必填	-	阿里雲向量檢索時擷取向量數。
`dashvector.threshold`	float	必填	-	向量距離閾值，高於該閾值的文檔會被過濾掉。
`dashvector.field`	string	必填	-	阿里雲向量檢索儲存文檔的欄位名。

說明

外掛程式開啟後，在使用鏈路追蹤功能時，會在span的attribute中添加rag檢索到的文檔id資訊，供排查問題使用。

樣本

dashscope:
    apiKey: xxxxxxxxxxxxxxx
    serviceFQDN: dashscope
    servicePort: 443
    serviceHost: dashscope.aliyuncs.com
dashvector:
    apiKey: xxxxxxxxxxxxxxxxxxxx
    serviceFQDN: dashvector
    servicePort: 443
    serviceHost: vrs-cn-xxxxxxxxxxxxxxx.dashvector.cn-hangzhou.aliyuncs.com
    collection: xxxxxxxxxxxxxxx
    topk: 1
    threshold: 0.4
    field: raw

CEC-Corpus資料集包含332篇突發事件的新聞報道的語料和標註資料，提取其原始的新聞稿文本，將其向量化後添加到阿里雲向量檢索服務DashVector。

以下為使用RAG進行增強例子，原始請求為：海南追尾事故，發生在哪裡？原因是什嗎？人員傷亡情況如何？

未經過RAG外掛程式處理LLM返回的結果為：

抱歉，作為AI模型，我無法即時擷取和更新新聞事件的具體資訊，包括地點、原因、人員傷亡等細節。對於此類具體事件，建議您查閱最新的新聞報道或官方通報以擷取準確資訊。您可以訪問主流媒體網站、使用新聞應用或者關注相關政府部門的公告來擷取這類動態資訊。
經過RAG外掛程式處理後LLM返回的結果為：

海南追尾事故發生在海文高速公路文昌至海口方向37公裡處。關於事故的具體原因，交警部門當時仍在進一步調查中，所以根據提供的資訊無法確定事故的確切原因。人員傷亡情況是1人死亡（司機當場死亡），另有8人受傷（包括2名兒童和6名成人），所有受傷人員都被解救並送往醫院進行治療。