購買執行個體
購買執行個體可參考購買OpenSearch向量檢索版執行個體。
配置執行個體
新購買的執行個體,在其詳情頁中,執行個體狀態為“待配置”,之後需要進入執行個體詳情頁,為該執行個體配置表基礎資訊 > 資料同步 > 欄位配置 > 索引結構 > 確認建立,最後等待索引重建完成即可正常搜尋。
在執行個體列表中,找到目標執行個體,單擊其操作列的配置進入配置頁面。
1. 表基礎資訊
表管理點擊“添加表",輸入表名稱,設定資料分區數和資料更新資源數,選擇需要的情境模板,點擊下一步。
配置說明:
表名稱:可自訂。
資料分區數:分區數設定時,請填寫不超過256的正整數, 用於提升全量構建速度、單次查詢效能。(部分存量執行個體,仍需各索引表分區數保持一致;或至少一個索引表分區數為1,其餘索引表分區數一致)
資料更新資源數:資料更新所用資源數,每個索引預設免費提供2個4核8G的更新資源,超出免費額度的資源將產生費用,詳情可參考向量檢索版國際站計費文檔
情境模板:向量檢索版內建了3種模板可供使用者選擇:通用、向量-圖片搜尋、向量-文本語義模板。
各情境模版說明:
通用模板:空模版,不預置任何欄位及索引。
向量:圖片搜尋:使用 OpenSearch 內建轉向量模型將圖片未經處理資料轉化為稠密向量。
向量:文本語義搜尋:將文本轉化為稠密向量實現語義分析,可選擇稠密向量檢索或稠密&稀疏向量混合檢索。
2. 資料同步
選擇全量資料來源(目前支援的資料來源有MaxCompute+API、Object Storage Service+API、OpenLake-DLF向量資料同步至阿里雲OpenSearch和API資料來源),本文以MaxCompute+API為例,依次設定AccessKey、AccessKey Secret、Project、Table、Partition,按需選擇是否開啟“自動索引重建”,設定完成後在資料來源校正點擊校正,校正通過後才可以進行下一步操作。
3. 欄位配置
OpenSearch會根據您選擇的情境模板,預置相關欄位,並會將全量資料來源中的欄位(如有),自動匯入欄位列表中。設定欄位,必須包含至少兩個欄位,主鍵欄位和向量欄位(向量欄位需要設定為多值float類型)。如果需要帶有類目的向量,可以在主鍵和向量欄位中間加一個類目欄位。
欄位配置說明:
必選欄位:主鍵欄位和向量欄位,主鍵欄位為int或string類型並且需要勾選主鍵按鈕,向量欄位為float類型並且需要勾選向量欄位按鈕;
向量欄位預設為多值的float類型,控制台建表預設採用逗號切分,支援自訂多值分隔字元。
使用向量檢索,在定義欄位時有位置要求,需要按照主鍵欄位、命名空間欄位(非必要)、向量欄位的順序建立。
當資料中缺少欄位或欄位為空白時,系統將自動補充預設值,數字類型預設補0,STRING類型預設補Null 字元串,支援自訂預設值。
4. 索引結構
OpenSearch會對主鍵與向量欄位自動構建索引,索引名與欄位名相同,只需要在控制台配置向量索引:
索引名稱:embedding
向量維度:128
距離類型:SquaredEuclidean
向量索引演算法:Qc
即時索引:true
進階配置按需填寫,詳情可參考向量索引通用配置。
主鍵欄位、向量欄位必須填寫,命名空間欄位非必填,可以為空白。
僅支援選擇固定的三個欄位,不支援新增。
系統自動填滿向量索引的配置參數,如無特殊需求,可直接點擊「確定」快速完成配置。
命名空間欄位:執行個體引擎版本為vector service 1.0.2及以下版本,namespace標籤欄位不支援string格式類型;執行個體引擎版本為vector service 1.0.2及以上版本,無此限制。
5. 確認建立
索引配置完成後,點擊確認建立。
確認後,系統將自動進行索引構建,預計建立時間 2 分鐘,構建完成後的索引將自動在當前執行個體中啟用。
點擊確認建立後,在表管理列表中可看到建立的表,其狀態顯示為建立中,等待建立完成即可。
6. 變更歷史
執行個體管理-變更歷史-資料來源變更,可以看到建立表及新增索引及全量的所有FSM,全部完成之後引擎搭建完成,就可以開始進行資料添加和查詢測試:
添加表操作展開後包含兩個變更流程:
訂閱/取消訂閱索引表:變更節點依次為參數檢查、修改訂閱狀態、提交到線上叢集、等待狀態生效
手動觸發全量:變更節點依次為參數檢查、觸發、掃描資料來源
各節點顯示綠色勾表示該步驟已完成。
7. 查詢測試
在左側導覽列向量管理 > 查詢測試進行查詢,查詢測試同時支援表單/開發人員模式。
7.1 表單模式
依次選擇好表單模式 > 表名,Query類型選擇向量,在向量框中輸入查詢的參數,點擊搜尋後就可以在搜尋結果欄中查看到結果。
表單中還需選擇索引名稱(如 embedding)並設定TopK(如 10),可按需填寫過濾條件、命名空間和結果排列順序。搜尋結果以表格形式展示,包含距離分、主鍵、向量值、屬性、命名空間等列。
7.2 開發人員模式
依次選擇好開發人員模式 > 表名,在下方的搜尋方塊內輸入查詢參數,完成後點擊搜尋就可以在右側的結果欄內看到查詢結果。
查詢參數還包括 indexName,用於指定查詢的索引名稱,樣本值為 "embedding"。
vector:具體要查詢的向量
topK:取top K個結果
includeVector:是否返迴文檔中的向量資訊
詳細的查詢文法可參考下方的文法說明。