AnalyticDB for PostgreSQL的RAG Service（ Retrieval-Augmented Generation Service）是一種創新的AI服務，它結合了檢索技術和產生技術，為使用者提供更為精準、靈活和高品質的RAG全流程體驗。RAG Service旨在通過資料處理，語義檢索海量資料，輔助產生更加貼合上下文、資訊豐富的回答或內容，廣泛應用於智能客服、內容創作、知識管理等多個領域。
整體架構
AnalyticDB for PostgreSQLRAG Service基於先進的混合檢索能力，核心包含三大模組：增強資料處理，增強語義檢索及增強召回。
增強資料處理模組對多模態資料進行深度預理解，確保高品質的資料切分和向量轉換。
增強語義檢索模組，利用先進的語義理解技術，實現對使用者需求的深入解析，從預先處理後的資料中快速準確地召回相關度最高的資訊片段。
增強召回模組進一步通過精細排序與過濾演算法，提升檢索結果的相關性和多樣性，為後續的產生步驟提供更加豐富和精準的答案。這一系列精心設計的流程，共同構成了RAG Service的強大內容產生能力，確保產生內容的高品質與高匹配度。
整體工作流程如下：
核心優勢與能力
核心優勢
增強型產生品質：RAG Service不僅依賴於單獨的語言模型產生技術，同時引入檢索機制，在產生回複前先從海量資料庫中檢索相關資訊，確保產生的內容更加準確且基於實際資料，從而顯著提升回答的品質和可信度。
大規模知識融合：支援接入和整合企業內部知識庫、公開網路資源等多來源資料，使得產生的內容能夠覆蓋更廣的知識面，滿足不同情境下的資訊需求，實現知識的高效複用與個人化定製。
靈活的API介面：提供簡單易用的API介面，使用者無需深入瞭解複雜的AI技術細節，即可輕鬆整合到現有系統中，快速實現智能化升級。無論是構建智能對話機器人、自動產生報告還是內容創作等情境，RAG Service都能輕鬆應對。
持續最佳化與學習：依託阿里雲強大的計算能力和不斷最佳化的演算法模型，RAG Service能夠持續學習最新的資料和使用者反饋內容，自動調整最佳化策略，以適應不斷變化的需求和環境，確保長期的RAG Service品質和使用者體驗。
核心能力
開放相容
支援直接讀寫向量資料、上傳已經切分好的文檔、直接上傳文檔的3級介面，方便按需適配。
支援主流多種語言的SDK：Python、Java、Go、Node.js、PHP、C#等。
支援社區流行的RAG架構的內建，如LlamaIndex和Langchain。
文檔處理能力
AnalyticDB for PostgreSQLRAG Service提供了多種格式的文檔文本提取和切分能力。其中，文本提取是根據文件類型使用不同的提取器提取出文本列表，並附帶Metadata資訊，如頁碼、標題等，目前支援如下文檔（檔案）類型：
使用OCR提取圖片：支援
png、jpg、jpeg和bmp格式。使用OCR提取純圖片或掃描件的PDF，可以將文本上下關聯的圖片資訊提取出來放到Metadata裡。
使用PyMuPDF等Python解決方案提取文本類的PDF。
支援提取其它格式檔案如
html、markdown、json、csv、docx、pptx、txt等。
文本切分（Text Splitter）是對文本提取後的單個Chunk進一步切分，達成以下目的：
防止token過大，導致Embedding效果不好，可以按照ChunkSize和ChunkOverlap進行切分。
文本有特定的分隔字元，可以指定Separators切分。
Embedding能力
文本Embedding模型：支援m3e、text2vec、通義等多種模型，包含512、768、1024、1536等維度。
圖片多模Embedding模型：支援clip、通義等多種模型，包含512、640、768、1024、1536等維度。
檢索能力
在基本能力上，RAG Service支援混合檢索、雙路召回和融合查詢三種能力。其中混合檢索是指同時檢索稠密向量和稀疏向量，雙路召回指全文檢索索引和向量檢索同時召回，融合查詢指在條件過濾後再進行向量檢索。在檢索多路的演算法上支援：
RRF：基於倒排的合并演算法，這種演算法只關注位置排序，不使用分數排序。
Weight：基於比重的合并演算法，這種演算法只關注調和後的分數，不關注位置。
Cascaded：將全文檢索索引作為Filter，然後再進行向量的topK檢索。
在檢索增強上，支援以下功能：
精排：先通過向量檢索粗召多於topK數量的Chunks，然後通過BGE或LLM重新打分排序。
視窗化檢索：為了防止文檔在處理階段被切分得過分細碎，導致缺失了完整的上下文，此演算法可以返回檢索命中的Chunk的前後的若干條Chunks。
安全能力
資料私人：文檔資料存在於您建立的AnalyticDB for PostgreSQL執行個體中，可以隨時銷毀或關閉資料訪問。同時支援資料落盤加密、配置SSL訪問、配置IP白名單等各種安全手段，以保護資料的私密性。
多租隔離：RAG Service支援使用Namespace（對應資料庫的Schema）隔離文件庫，方便同一個執行個體按照多組織架構進行隔離。
健全的認證方式：使用阿里雲的RAM鑒權和執行個體的使用者名稱密碼雙重認證，提高了資料在訪問過程中的安全性。
應用情境
智能客服：通過精準理解使用者問題，結合企業知識庫快速產生專業、個人化的解答，提升客戶滿意度。
內容創作：根據預設主題或風格，自動產生文章、新聞、產品描述等多樣化內容，提高內容生產效率。
知識管理：自動整理和摘要大量文檔資料，產生易於消化的知識點，加速團隊知識共用與學習。
教育培訓：根據學員需求和課程內容，定製化產生練習題、案例分析等教學材料，增強互動性和個人化教學體驗。
專利檢索： 面向專利文檔進行了定向的文本處理最佳化器，實現高品質切分和召回，實現極高的相似專利檢索服務。