基於LangStudio&DeepSeek的RAG及連網搜尋聊天機器人解決方案

更新時間:
Copy as MD

本文詳細介紹了如何使用LangStudio構建“基於Web搜尋和RAG的聊天助手”應用流。該應用流通過整合即時連網搜尋和RAG能力,為模型提供了額外的連網搜尋和特定領域知識庫的能力,從而在處理使用者輸入的問題時,能夠結合即時搜尋結果和知識庫提供更準確的回答。開發人員可以基於該模板進行靈活擴充和二次開發,以滿足特定情境的需求。

背景資訊

在現代資訊技術迅速發展的背景下,"基於Web搜尋和RAG的聊天助手" 應用流通過結合即時連網搜尋和產生式人工智慧的優勢,為使用者提供更全面和精準的回答。通過整合即時網路搜尋和RAG能力,使模型不僅能夠從特定領域的知識庫中擷取專業資訊,還可以利用最新的網路資料進行即時更新和補充。這種雙重資訊源的結合,使得應用在金融、醫學等需要高度精確資訊的領域中表現尤為出色。開發人員可以基於該應用流的模板進行靈活的擴充和定製化開發,以更好地滿足不同應用情境的需求,從而提升使用者體驗和決策支援能力。

前提條件

  • 已通過SerpApi官網註冊帳號並擷取api_key(免費版每月可提供100次搜尋機會)。

  • LangStudio向量資料庫支援使用FaissMilvus向量資料庫,若您希望使用Milvus資料庫,您需要先完成Milvus資料庫的建立。

    說明

    Faiss通常用於測試環境,無需額外建立資料庫即可使用。在生產環境中,建議您使用Milvus資料庫,支援處理更大規模的資料。

  • 已將RAG知識庫語料上傳至OSS中。

1. (可選)部署LLMEmbedding模型

基於Web搜尋和RAG的聊天助手應用流需要用到LLMEmbedding模型服務,本節將詳細介紹如何通過ModelGallery快速部署所需的模型服務。若您已有符合要求的模型服務,且服務支援OpenAI API,則可跳過此步驟,直接使用現有服務。

前往快速開始 > ModelGallery,分別部署以下兩種情境的模型。更多部署詳情,請參見模型部署及訓練

重要

請務必選擇使用指令微調的大語言模型,Base模型無法正確遵循使用者指令回答問題。

2. 建立串連

本文建立的LLMEmbedding模型服務串連基於快速开始 > Model Gallery中部署的模型服務(EAS服務)。更多其他類型的串連及詳細說明,請參見串連配置

2.1 建立LLM服務串連

  1. 進入LangStudio,選擇地區和工作空間。

  2. 连接 > 模型服务頁簽下單擊新建连接,參數如下配置:

    • 连接类型:選擇通用LLM模型服务

    • 服务提供方:選擇PAI-EAS模型服务

    • EAS服务:選擇1. (可選)部署LLMEmbedding模型中部署的LLM服務。

      選擇之後,base_urlapi_key會自動填滿,分別對應已部署LLMVPC訪問地址和Token。
    • 模型名称:OpenAI API請求中的model的參數值。可通過模型詳情頁(在Model Gallery頁單擊模型卡片)查看模型名稱的擷取方法。

    • Tool Call、结构化输出深度思考视觉:根據模型支援情況選擇。

2.2 建立Embedding模型服務串連

2.1 建立LLM服務串連類似,建立通用Embedding模型服務串連。

image

2.3 建立SerpApi串連

连接 > 自定义頁簽下單擊新建连接,建立SerpApi串連。配置前提條件中擷取的api_key。

image

3. 建立知識庫索引

建立知識庫索引,將語料經過解析、分塊、向量化後儲存到向量資料庫,從而構建知識庫。其中關鍵參數配置說明如下,其他配置詳情,請參見知識庫管理員

參數

描述

基礎配置

資料來源OSS路徑

配置前提條件RAG知識庫語料的OSS路徑。

輸出OSS路徑

配置文檔解析產生的中間結果和索引資訊的路徑。

重要

當使用FAISS作為向量資料庫時,應用流會將產生的索引檔案儲存到OSS。若使用PAI預設角色(應用流開發-啟動運行時時設定的实例RAM角色),應用流可以預設訪問使用者工作空間的預設儲存Bucket,因此建議將此參數配置為當前工作空間預設儲存路徑所在的OSS Bucket下的任一目錄。如果使用自訂角色,您需要為自訂角色授予OSS的存取權限(建議授予AliyunOSSFullAccess許可權),詳情請參見管理RAM角色的許可權

Embedding模型和資料庫

Embedding類型

選擇通用Embedding模型服务

Embedding串連

選擇2.2 建立Embedding模型服務串連中建立的Embedding模型服務串連。

向量資料庫類型

選擇FAISS。本文以FAISS向量資料庫舉例說明。

4. 建立並運行應用流

  1. 進入LangStudio,選擇工作空間後,在應用流頁簽下單擊建立應用流,建立基於Web搜尋和RAG的聊天助手應用流。

    image

  2. 啟動運行時:單擊右上方选择运行时,並在下拉式清單中選擇已建立的運行時。註:在進行Python節點解析或查看更多工具時,需要保證運行時已啟動。

    如果沒有可選的運行時,您需在大模型應用開發(LangStudio)頁面的运行时頁簽下,單擊新建运行时,來建立運行時。image關鍵參數說明:

    專用網路配置:如果3. 建立知識庫索引中向量資料庫類型為Milvus,則需配置Milvus執行個體相同的專用網路,或確保已選的專用網路和Milvus執行個體所在的專用網路已經互連;如果向量資料庫類型為FAISS,則無需配置專用網路。

  3. 開發應用流。

    image

    應用流中的其餘配置保持預設或根據實際需求進行配置,關鍵節點配置如下:

    • 知識庫檢索:在知識庫中檢索與使用者問題相關的文本。

      • 知識庫索引名稱:選擇3. 建立知識庫索引中建立的知識庫索引。

      • Top K:返回Top K條匹配的資料。

    • serp搜尋:使用SerpAPI進行連網搜尋,返回指定數量的搜尋結果。

      • SerpApi串連:選擇2.3 建立SerpApi串連中建立的SerpApi串連。

      • 搜尋引擎:支援常見的搜尋引擎,如bing、google、baidu、yahoo,也支援自訂的輸入。更多搜尋引擎支援及其他參數介紹請參見SerApi官網

    • 大模型節點:使用檢索到的文檔和Serp搜尋結果作為上下文,與使用者問題一起發送給大語言模型,產生回答。

      • 模型設定:選擇2.1 建立LLM服務串連中建立的串連。

      • 對話歷史:是否啟用對話歷史,將歷史對話資訊作為輸入變數。

    關於各節點群組件詳情,請參見預置組件說明

  4. 調試/運行:單擊右上方运行,開始執行應用流。關於應用流程執行時的常見問題,請參見常見問題

    image

  5. 查看鏈路:單擊產生答案下的查看链路,查看Trace詳情或拓撲視圖。

    image

5. 部署應用流

在應用流開發頁面,單擊右上方部署,將應用流部署為EAS服務。部署參數其餘配置保持預設或根據實際需求進行配置,關鍵參數配置如下:

  • 资源信息 > 实例数:佈建服務執行個體數。本文部署僅供測試使用,因此執行個體數配置為1。在生產階段,建議配置多個服務執行個體,以降低單點故障的風險。

  • 专有网络 > 专有网络(VPC):由於SerpApi服務需要訪問公網,因此需要配置具備公網訪問能力的VPC(EAS服務預設不可訪問公網),詳情請參見EAS訪問公網或內網資源。另外,如果3. 建立知識庫索引中向量資料庫類型為Milvus,還需確保與Milvus執行個體相同的專用網路,或已選的專用網路和Milvus執行個體所在的專用網路已經互連。

更多部署詳情,請參見應用流部署

6. 調用服務

部署成功後,跳轉到PAI-EAS,在在线调试頁簽下配置並發送請求。請求Body中的Key與應用流中“開始節點”中的參數"對話輸入"欄位一致,本文使用預設欄位question

image

更多調用方式(如API調用)及詳細說明,請參見應用流部署-調用服務

相關文檔