本文為您介紹如何購買OpenSearch向量檢索版單節點執行個體。
購買執行個體
-
進入OpenSearch控制台,在左上方切換到OpenSearch-向量檢索版:然後在執行個體列表介面,單擊建立執行個體。
-
商品版本選擇向量檢索版,選擇地區,配置“資料節點數量”、“資料節點規格”、“單資料節點總儲存空間”,設定“專用網路”和“虛擬交換器”,最後按提示要求設定使用者名稱和使用者密碼(用於查詢時校正許可權,非阿里雲帳號密碼),單擊”立即購買”:
在購買頁面完成以下配置:
商品版本:選擇向量檢索版。
地區和可用性區域:選擇目標地區,例如華東1(杭州)。
資料節點數量:根據業務需求設定,例如設為 1。
資料節點規格類型系列:選擇本地SSD盤型或雲端硬碟型。
資料節點規格:選擇所需規格,例如 2核16G。
null-
購買的資料節點的個數及規格,需根據自身業務進行規劃,確定規格後實際費用可在售賣頁自動產生。
-
單節點方案,可不購買查詢節點(即查詢節點數量為0),查詢節點規格類型系列不生效。
-
專用網路和虛擬交換的配置一定要和訪問向量檢索版執行個體的ECS機器保持一致。否則在訪問向量檢索版執行個體時會報錯{'errors':{'code':'403','message':'Forbidden'}}。
-
資料節點規格類型系列SSD盤有50G的免費額度,額外額度按步長50GB收費;雲端硬碟型無免費額度,額度按步長50GB收費。
-
在確認訂單介面,查看服務合約,確認無誤後,單擊立即開通。
-
購買成功後,單擊管理主控台,即可在執行個體列表介面查看已購買的向量檢索版執行個體。
配置執行個體
新購買的執行個體,在其詳情頁中,執行個體狀態為“待配置”,並且會自動部署一個與購買的資料節點的個數及規格一致的空執行個體,之後需要為該執行個體配置表基礎資訊、資料同步、欄位配置及索引結構,等待索引重建完成即可正常搜尋。
1. 表基礎資訊
表管理單擊“添加表",輸入表名稱,設定資料分區數和資料更新資源數,選擇需要的情境模板,單擊下一步:
配置說明:
-
表名稱:可自訂。
-
資料分區數:由於是單節點執行個體,固定預設值為1,不可變更;當前執行個體僅支援單分區方案,可通過擴容支援多節點,詳情可見擴縮容文檔。
-
資料更新資源數:資料更新所用資源數,每個索引預設免費提供2個4核8G的更新資源,超出免費額度的資源將產生費用,詳情可參考向量檢索版國際站計費文檔
-
情境模板:向量檢索版內建了3種模板可供使用者選擇:通用、向量-圖片搜尋、向量-文本語義模板。
2. 資料同步
選擇全量資料來源(目前支援的資料來源有MaxCompute+API、Object Storage Service+API、OpenLake-DLF向量資料同步至阿里雲OpenSearch和API),本文以MaxCompute+API為例,配置完參數校正通過後,點擊下一步。
選擇 MaxCompute+API 後,需填寫以下參數:
AccessKey 和 AccessKey Secret
專案名(Project):以字母開頭,僅包含字母、數字和底線,長度 3-28 位
表名(Table):長度 1-128 位
表資料分區(Partition):如資料來源表存在多級分區,分區之間使用逗號分隔
自動索引重建:選擇是,需確認 MaxCompute 中已建立 done 表,否則自動索引重建不生效
填寫完成後單擊校正按鈕進行資料來源校正。
3. 欄位配置
OpenSearch會根據您選擇的情境模板,預置相關欄位,並會將全量資料來源中的欄位(如有),自動匯入欄位列表中:
欄位配置說明:
-
必選欄位:主鍵欄位和向量欄位,主鍵欄位為int或string類型並且需要勾選主鍵按鈕,向量欄位為float類型並且需要勾選向量欄位按鈕;
-
向量欄位預設為多值的float類型,多值分隔字元預設使用系統預設分隔符號英文逗號“,”進行切分,也可以輸入自訂多值分隔字元。
-
當資料中缺少欄位或欄位為空白時,系統將自動補充預設值,數字類型預設補0,STRING類型預設補Null 字元串,支援自訂預設值。
4. 索引結構
4.1. 向量索引
在向量索引 Tab 中,填寫索引名稱(如 message_vector),並選擇混合檢索是否開啟。頁面頂部提示:OpenSearch 已為除向量欄位外的欄位自動構建同名索引。
-
主鍵欄位、向量欄位必須填寫,命名空間欄位非必填,可以為空白。
-
僅支援選擇固定的三個欄位,不支援新增。
-
向量維度:根據模型產生的向量按需選擇。
-
距離類型:支援InnerProduct(內積距離,分數越大越相關)與SquareEuclidean(歐式距離,分數越小越相關)。
-
向量索引演算法:支援Linear、HNSW、QGraph與QC,GPU規格執行個體額外支援CAGRA演算法,演算法詳情可參考向量介紹。
-
即時索引:表示API的增量資料是否需要即時構建向量索引,預設為true。
-
更多進階配置,可點擊展開進行配置,參數說明可參考向量索引通用配置。
進階配置包含以下參數:
即時索引參數:預設值
{"proxima.oswg.streamer.segment_size":2048}索引檢索參數:預設值
{"proxima.qc.searcher.scan_ratio":0.01}索引構建參數:預設值
{"proxima.qc.builder.quantizer_class":"Int8Quant"...}召回候選集個數最小值:預設值
20000線性構建的閾值:預設值
5000忽略有問題的向量資料:預設值
true召回率指標彙報:預設值
true
-
命名空間欄位:
-
執行個體引擎版本為vector service 1.0.2及以下版本,namespace標籤欄位不支援string格式類型;
-
執行個體引擎版本為vector service 1.0.2及以上版本,無此限制。
-
4.2. 其他索引類型
OpenSearch已為除向量欄位外的欄位自動構建同名索引,可以在此管理;向量類型索引需手動設定。
在其他類型索引 Tab 頁中,索引配置表格包含以下列:索引名稱、包含欄位、是否構建索引(開關控制)、索引類型(可選主鍵索引或普通索引)。可根據業務需要為各欄位開啟或關閉索引構建,並選擇對應的索引類型。
4.3. 索引全域配置
此功能預設關閉,開啟後,可對整數類型欄位設定到期時間。若目前時間-文檔時間 > 到期時間,該文檔將被自動清理。
配置項包括文檔時間數欄位(選擇含義為文檔時間的整數類型欄位並指定時間單位)和到期時間(取值範圍為 1~49710 天)。
5. 確認建立
索引配置完成後,單擊确认创建,可以看到表狀態在建立中。
6. 變更歷史
執行個體管理-變更歷史,可以看到近3天、7天、30天變更記錄,例如:建立表、新增索引、擴容及全量的所有流程;全部完成之後引擎搭建完成,可以開始查詢測試。
7. 查詢測試
完成表建立和添加資料後,就可以在向量管理>查询测试進行查詢,查詢測試同時支援表單模式/開發人員模式。
7.1 表單模式
依次對表單模式 → 表名 → Query類型進行設定,Query類型可以選擇向量/文本類型,本次選擇文本,在文本項中輸入查詢的常值內容,點擊搜尋後就可以在搜尋結果欄中查看到結果。
7.2 開發人員模式
依次對表單模式 → 表名 → 搜尋方塊進行設定,在搜尋方塊中輸入查詢相關參數,點擊搜尋後就可以在搜尋結果欄中查看到結果。
-
vector:具體要查詢的向量
-
topK:取top K個結果
-
includeVector:是否返迴文檔中的向量資訊
詳細的查詢文法可參考下文的文法說明。
文法說明
SDK中使用向量檢索
單節點升級多節點
如果需要將一個單節點,升級多節點,可參考下面操作:
單節點升級多節點變更期間執行個體不可用,具體變更進度可在變更歷史頁中查看相應的流程進度:
-
在執行個體列表介面,執行個體列表頁中找到對應的執行個體,在右側”操作”欄中單擊”升/降配”。
-
在變更配置頁中選擇具體需要擴/縮容的查詢節點數量、規格,並勾選“服務合約”後單擊立即購買即可。