全部產品
Search
文件中心

Platform For AI:基於LangStudio&DeepSeek的RAG及連網搜尋聊天機器人解決方案

更新時間:Apr 25, 2025

本文詳細介紹了如何使用LangStudio構建“基於Web搜尋和RAG的聊天助手”應用流。該應用流通過整合即時連網搜尋和RAG能力,為模型提供了額外的連網搜尋和特定領域知識庫的能力,從而在處理使用者輸入的問題時,能夠結合即時搜尋結果和知識庫提供更準確的回答。開發人員可以基於該模板進行靈活擴充和二次開發,以滿足特定情境的需求。

背景資訊

在現代資訊技術迅速發展的背景下,"基於Web搜尋和RAG的聊天助手" 應用流通過結合即時連網搜尋和產生式人工智慧的優勢,為使用者提供更全面和精準的回答。通過整合即時網路搜尋和RAG能力,使模型不僅能夠從特定領域的知識庫中擷取專業資訊,還可以利用最新的網路資料進行即時更新和補充。這種雙重資訊源的結合,使得應用在金融、醫學等需要高度精確資訊的領域中表現尤為出色。開發人員可以基於該應用流的模板進行靈活的擴充和定製化開發,以更好地滿足不同應用情境的需求,從而提升使用者體驗和決策支援能力。

前提條件

  • 已通過SerpApi官網註冊帳號並擷取api_key(免費版每月可提供100次搜尋機會)。

  • LangStudio向量資料庫支援使用Faiss或Milvus向量資料庫,若您希望使用Milvus資料庫,您需要先完成Milvus資料庫的建立。

    說明

    Faiss通常用於測試環境,無需額外建立資料庫即可使用。在生產環境中,建議您使用Milvus資料庫,支援處理更大規模的資料。

  • 已將RAG知識庫語料上傳至OSS中。

1. (可選)部署LLM和Embedding模型

基於Web搜尋和RAG的聊天助手應用流需要用到LLM和Embedding模型服務,本節將詳細介紹如何通過ModelGallery快速部署所需的模型服務。若您已有符合要求的模型服務,且服務支援OpenAI API,則可跳過此步驟,直接使用現有服務。

前往快速開始 > ModelGallery,分別部署以下兩種情境的模型。更多部署詳情,請參見模型部署及訓練

重要

請務必選擇使用指令微調的大語言模型,Base模型無法正確遵循使用者指令回答問題。

2. 建立串連

本文建立的LLM和Embedding模型服務串連基於快速開始 > Model Gallery中部署的模型服務(EAS服務)。更多其他類型的串連及詳細說明,請參見服務串連配置

2.1 建立LLM服務串連

進入LangStudio,選擇工作空間後,在服務串連配置 > 模型服務頁簽下單擊建立串連,建立通用LLM模型服務串連。

image

關鍵參數說明:

參數

說明

模型名稱

當通過Model Gallery進行模型部署時,可通過模型詳情頁(在Model Gallery頁單擊模型卡片)查看模型名稱的擷取方法,詳情請參見建立串連-模型服務

服務提供者

  • PAI-EAS模型服務:本文使用PAI-EAS模型服務。此時EAS服務可選擇1. (可選)部署LLM和Embedding模型中部署的LLM服務。選擇之後,base_url和api_key會自動填滿,分別對應已部署LLM的VPC訪問地址和Token。

  • 第三方模型服務:使用第三方模型服務,例如當第三方為DeepSeek官方服務時,base_url為https://api.deepseek.com,api_key可從DeepSeek 官網擷取。

2.2 建立Embedding模型服務串連

2.1 建立LLM服務串連類似,建立通用Embedding模型服務串連。

image

2.3 建立SerpApi串連

服務串連配置 > 自訂串連頁簽下單擊建立串連,建立SerpApi串連。配置前提條件中擷取的api_key。

image

3. 建立知識庫索引

建立知識庫索引,將語料經過解析、分塊、向量化後儲存到向量資料庫,從而構建知識庫。其中關鍵參數配置說明如下,其他配置詳情,請參見建立知識庫索引

參數

描述

基礎配置

資料來源OSS路徑

配置前提條件中RAG知識庫語料的OSS路徑。

輸出OSS路徑

配置文檔解析產生的中間結果和索引資訊的路徑。

重要

當使用FAISS作為向量資料庫時,應用流會將產生的索引檔案儲存到OSS。若使用PAI預設角色(應用流開發-啟動運行時時設定的執行個體RAM角色),應用流可以預設訪問使用者工作空間的預設儲存Bucket,因此建議將此參數配置為當前工作空間預設儲存路徑所在的OSS Bucket下的任一目錄。如果使用自訂角色,您需要為自訂角色授予OSS的存取權限(建議授予AliyunOSSFullAccess許可權),詳情請參見為RAM角色授權

Embedding模型和資料庫

Embedding類型

選擇通用Embedding模型

Embedding串連

選擇2.2 建立Embedding模型服務串連中建立的Embedding模型服務串連。

向量資料庫類型

選擇FAISS。本文以FAISS向量資料庫舉例說明。

4. 建立並運行應用流

  1. 進入LangStudio,選擇工作空間後,在應用流頁簽下單擊建立應用流,建立基於Web搜尋和RAG的聊天助手應用流。

    image

  2. 啟動運行時:單擊右上方建立運行時並進行配置。註:在進行Python節點解析或查看更多工具時,需要保證運行時已啟動。

    image

    關鍵參數說明:

    專用網路配置:如果3. 建立知識庫索引中向量資料庫類型為Milvus,則需配置Milvus執行個體相同的專用網路,或確保已選的專用網路和Milvus執行個體所在的專用網路已經互連;如果向量資料庫類型為Faiss,則無需配置專用網路。

  3. 開發應用流。

    image

    應用流中的其餘配置保持預設或根據實際需求進行配置,關鍵節點配置如下:

    • 知識庫檢索:在知識庫中檢索與使用者問題相關的文本。

      • 知識庫索引名稱:選擇3. 建立知識庫索引中建立的知識庫索引。

      • Top K:返回Top K條匹配的資料。

    • serp搜尋:使用SerpAPI進行連網搜尋,返回指定數量的搜尋結果。

      • SerpApi串連:選擇2.3 建立SerpApi串連中建立的SerpApi串連。

      • 搜尋引擎:支援常見的搜尋引擎,如bing、google、baidu、yahoo,也支援自訂的輸入。更多搜尋引擎支援及其他參數介紹請參見SerApi官網

    • 大模型節點:使用檢索到的文檔和Serp搜尋結果作為上下文,與使用者問題一起發送給大語言模型,產生回答。

      • 模型設定:選擇2.1 建立LLM服務串連中建立的串連。

      • 對話歷史:是否啟用對話歷史,將歷史對話資訊作為輸入變數。

    關於各節點群組件詳情,請參見附錄:預置組件說明

  4. 調試/運行:單擊右上方運行,開始執行應用流。關於應用流程執行時的常見問題,請參見常見問題

    image

  5. 查看鏈路:單擊產生答案下的查看鏈路,查看Trace詳情或拓撲視圖。

    image

5. 部署應用流

在應用流開發頁面,單擊右上方部署,將應用流部署為EAS服務。部署參數其餘配置保持預設或根據實際需求進行配置,關鍵參數配置如下:

  • 資源部署 > 執行個體數:佈建服務執行個體數。本文部署僅供測試使用,因此執行個體數配置為1。在生產階段,建議配置多個服務執行個體,以降低單點故障的風險。

  • 專用網路 > VPC:由於SerpApi服務需要訪問公網,因此需要配置具備公網訪問能力的VPC(EAS服務預設不可訪問公網),詳情請參見配置公網串連。另外,如果3. 建立知識庫索引中向量資料庫類型為Milvus,還需確保與Milvus執行個體相同的專用網路,或已選的專用網路和Milvus執行個體所在的專用網路已經互連。

更多部署詳情,請參見應用流部署

6. 調用服務

部署成功後,跳轉到PAI-EAS,在線上調試頁簽下配置並發送請求。請求Body中的Key與應用流中“開始節點”中的參數"對話輸入"欄位一致,本文使用預設欄位question

image

更多調用方式(如API調用)及詳細說明,請參見應用流部署-調用服務

相關文檔