為提升使用者體驗,降低使用者接入門檻,OpenSearch團隊針對向量檢索版進行了全新升級,摒棄了繁重複雜的叢集概念,將向量檢索引擎抽象成以表為單位的向量資料庫,本文將具體介紹此次升級的改動點。
首先為兼顧老使用者,OpenSearch將原先的向量檢索版劃分成了兩個版本:傳統版和易用版,使用者可以在執行個體的詳情頁進行區分:

在“當前引擎版本”一列中:
vector_service_1.0.1表示易用版,即最新版本
ha3_3.10.0:表示傳統版,即為未升級版本
ha3_3.10.0為老版本引擎,後續將不再進行新特性升級
傳統版與易用版核心功能對比
主要功能 | 傳統版(ha3_3.10.0) | 易用版(vector_service_1.x.x) |
資料來源支援 |
|
|
控制台查詢測試 |
|
|
SQL | 支援 | 不支援 |
向量化模型 |
|
|
向量查詢 |
|
|
查詢文法 | ||
SDK支援 |
vector_service 版本特性
V1.4.0
新增特性:
支援建立文本索引
新增search介面:支援向量和文本索引的混合查詢
新增aggregate介面:支援統計查詢
支援查詢body壓縮:支援deflate壓縮
fetch介面支援擷取text類型欄位
V1.3.0
新增特性:
支援資料湖dlf資料來源
支援使用搜尋開發平台模型
支援配置文檔到期自動刪除功能(ttl)
最佳化contain函數效能
sort和filter運算式中支援三元操作符(a ? b : c)
V1.2.2
新增特性:
支援表別名功能
最佳化過濾查詢轉倒排邏輯
查詢支援設定timeout
修複:
修複有持續查詢流量時索引切換會卡住的bug
修複主體識別可能會引起引擎core的問題
V1.2.0
新增特性:
資料節點數與表分區數解耦,支援一個資料節點載入多個表分區
最佳化建錶速度
增加一些過濾函數
V1.1.3
新增特性:
過濾最佳化支援計算稀疏向量分數
過濾最佳化支援設定向量分數閾值
V1.1.2
新增特性:
支援一個欄位多個向量索引(包括filter轉倒排最佳化情境)
支援稀疏向量的即時更新(採用HnswStreamer)
qrs指標中增加表名的tag
V1.1.1
新增特性:
支援主體識別
支援指定條件fetch資料
修複模型load過久會導致navi collect resource逾時的問題
V1.1.0
新增特性:
支援稀疏向量
支援多個向量索引
支援自訂排序公式
支援filter轉倒排最佳化
V1.0.3
新增特性:
修複table中多值string欄位,單個值超過4k時還原序列化時會core的問題
修複ann使用qc streamer時會支援segment資料但不釋放,導致記憶體泄露的問題
V1.0.2
新增特性:
修複切新全量時,老全量unload不掉,新全量不切的問題
V1.0.1
新增特性:
新增filter支援turing function函數
修複多值string結果序列化問題
修複只擷取最後一個需要跑模型預測的表的問題
V1.0.0
新增特性:
帶namespace查詢
多namespace查詢
擷取索引資訊
內建模型預測功能
注意事項
ha3_3.10.0 無法升級為vector_service版本,需要建立執行個體
vector_service版本如需使用新特性,可以聯絡我們進行升級