OpenSearch LLM智能問答版內建非結構化資料處理、向量模型、文本&向量檢索、LLM，提供一站式開箱即用的檢索增強產生（RAG）方案，支援豐富資料格式的快速匯入，構建包含對話、連結、圖片在內的多模態對話式搜尋服務，協助開發人員快速搭建RAG系統。
產品簡介
LLM智能問答版面向行業搜尋情境，提供企業專屬問答搜尋服務。基於內建的LLM大模型，一站式快速搭建問答搜尋系統。 LLM智能問答版可以基於客戶自身的業務資料，自動產生問答結果、參考圖片、參考連結等內容，提供更智能、優質的問答搜尋服務。
產品架構
產品功能
多模態RAG：支援圖片內容理解，可通過OCR、LLM等構建多模態知識庫，多樣化輸出返回結果。
RAG效果評測：支援全鏈路效果評測，對比不同模型、參數配置下的RAG效果，方便進行效果對比與選型。
豐富模型能力與定製化模型訓練：內建豐富的向量、重排、大語言模型等，可基於業務資料訓練專屬大模型。
資料即時更新：支援即時構建增量向量索引，資料即時同步更新。
表格問答：支援基於NL2SQL的表格問答，通過企業結構化資料庫實現對話式搜尋問答。
零部署、全託管、免營運：全託管雲上MaaS服務，無需進行任何部署和營運。
產品優勢
一站式快速接入：內建全鏈路RAG流程，只需控制台上傳業務資料即可分鐘級構建RAG系統。
更優RAG效果：內建豐富的向量、重排、大語言模型等，模型能力多次登頂行業榜單，保障95%以上RAG準確率。
靈活調優方式：支援自訂Prompt、參數修改、搜尋排序、定製化模型訓練等多種效果調優方式，內建全鏈路RAG效果評估模型。
完善的相關功能：支援多模態內容理解、結構化資料與非結構化資料解析、多輪對話、流式輸出、意圖識別、Agent等完善的RAG相關功能。
便捷的接入方式：支援DingTalk機器人、飛書等多種生態零代碼快速接入，支援API/SDK等多樣靈活的接入方式，可使用API-Key嵌入多種開源大模型應用開發架構。
企業級能力完善：支援企業級文檔許可權隔離，增量資料即時更新。
版本選擇
OpenSearch-LLM智能問答版有兩個版本選擇：標準版與專業版，下表介紹了這兩個版本的功能以及相互之間的差異。
對比項 | 標準版 | 專業版 |
定製模型訓練 | 不支援。 | 支援基於自身業務資料進行SFT。 |
LLM選擇 | 支援Qwen系列、開源模型、外部模型。 | 支援Qwen系列、開源模型、外部模型、定製模型。 |
使用限制 | 最高10QPS限流。 | 無限流，購買的GPU資源支援足夠的推理請求即可。 |
計算資源計費 | 按照調用時消耗的計算資源隨用隨付。 | 按照購買的GPU規格計費，無需支付額外的計算資源費用。 |
適用情境 | 適用於通用智能客服、企業知識庫、電商導購等情境。 | 適用於業務資料相對特殊，需要訓練使用專屬LLM的智能客服、企業知識庫、電商導購等情境。 |
應用情境
智能客服：
在APP、小程式、網站中提供智能售前、售後客服，根據使用者不同的輸入，進行意圖分類判斷，並提供相應的支援解答。
支援基於人工幹預的固定問答對。
支援圖片、視頻等多模態內容返回。
支援NL2SQL基於資料庫查詢使用者訂單、物流資訊等。
企業知識庫：
在企業內部門戶網站、聊天軟體中搭建企業知識庫，為員工、使用者提供知識支援、快捷導航入口等。
支援企業級文檔許可權隔離。
支援即時資料更新與索引構建。
支援多種非結構化資料解析理解。
電商導購：
在電商、零售類APP、網站中，在原有搜尋方塊或導購客服中，增加智能導購能力，可結合使用者對話資訊，為使用者智能推薦相關商品。
支援圖片等多模態內容理解，可包含商品圖片等資訊。
支援返回商品搜尋原始連結，快捷抵達目標商品。
支援基於營運需求調整商品搜尋排序。
內容、社區總結：
在內容、社區類APP、網站中，基於內部內容資料，在原有搜尋方塊基礎上，增加智能總結能力，可針對使用者對話資訊，返回用網站內容總結產生的攻略、參考等。
支援網頁、網站內容快速匯入。
支援基於OCR、大模型等理解圖片等多模態內容。
支援返回原始文檔參考連結。
表格問答：
針對工商、金融等多行業情境下的結構化資料資訊，基於NL2SQL能力快速進行相關內容的搜尋，並通過LLM快速總結、返回相關資訊。
支援自訂表格結構。
支援MaxCompute資料來源資料自動同步。
支援基於NL2SQL的資訊提取、總結、彙總。