在電商、多模態搜尋等情境中,單一欄位(如商品標題或圖片)的向量化往往無法同時滿足語義意圖和視覺風格的雙重匹配需求。融合向量功能支援選擇多個欄位(如文字欄位和圖片欄位),通過多模態模型將這些欄位的內容編碼為單一向量值,從而實現"以文搜圖"、"以圖搜文"等跨模態檢索能力。
使用須知
融合向量功能僅支援引擎版本 1.5.8 及以上。若目前的版本較低,請聯絡支援人員申請升級引擎。
支援的模型
融合向量功能通過調用多模態模型服務對欄位內容進行向量化編碼。不同模型對輸入欄位的數量和類型有不同的限制:
模型來源 | 模型名稱 | 輸出維度 | 輸入限制 |
百鍊平台 | qwen3-vl-embedding | 支援維度:
| 單個請求最多支援20個內容輸入,其中圖片內容不超過5個 |
AI搜尋開放平台 | ops-gme-qwen2-vl-2b-instruct | 1536維 | 單個請求支援1個圖片與1個文本作為輸入內容 |
ops-mm-embedding-v1-2b | 1536維 | 單個請求支援1個圖片與1個文本作為輸入內容 | |
ops-mm-embedding-v1-7b | 3584維 | 單個請求支援1個圖片與1個文本作為輸入內容 | |
ops-mm-embedding-ecom-001 | 128維 | 單個請求支援1個圖片與1個文本作為輸入內容 |
配置融合向量
融合向量在添加表字段配置步驟中進行配置。
進入字段配置頁面,在欄位列表中添加參與融合向量的欄位。融合向量至少需要2個參與欄位。
如果參與欄位涉及圖片內容,需先為該欄位配置圖片資料來源。在欄位列表的数据源列中,選擇對應的資料類型(文本或圖片),並根據資料存放區方式配置資料來源。圖片類型支援以下資料來源:URL地址、Base64編碼、OSSObject Storage Service和DLF-Object Table。
單擊頁面底部的資料處理按鈕,在資料處理模板下拉框中選擇融合向量。
在參與欄位地區,選擇需要參與融合向量編碼的欄位(至少2個)。
在服務列表中配置模型服務:
模型:從下拉式清單中選擇多模態模型。預設模型為百鍊平台qwen3-vl-embedding。
欄位名:系統自動產生融合向量的輸出欄位名(如
_fused_vector),無需手動修改。
在 API Key 處填寫對應模型服務的API Key。
閱讀並勾選風險提示和計費提示。
點擊確定,完成融合向量配置。
配置完成後,系統將自動產生的融合向量欄位回填至欄位列表中。回填的欄位具有以下特徵:
資料來源列顯示參與融合向量編碼的源欄位名稱。
欄位類型列帶有融合標識,表示該欄位經過融合向量處理。
操作列支援編輯操作,將重新開啟資料處理配置面板,並回顯已配置的資訊。
其他資料處理模板
除融合向量外,資料處理功能還支援以下模板:
模板名稱 | 說明 |
稠密向量化 | 將文字欄位轉換為稠密向量 |
稠密+稀疏向量化 | 同時產生稠密向量和稀疏向量,用於混合檢索 |
圖片向量化 | 將圖片欄位轉換為向量 |
圖片內容解析 | 解析圖片中的文字和內容資訊 |
圖片內容解析+圖片向量化 | 先解析圖片內容,再進行向量化 |
視頻處理 | 處理視頻欄位資料 |
欄位資料來源配置
在欄位配置頁面中,資料來源作為獨立列顯示。
情境模板預設欄位:資料類型不可修改,保持模板預置的配置。
使用者新增欄位:可選擇資料類型為文本或圖片。
圖片類型支援的資料來源:URL地址、Base64編碼、OSSObject Storage Service、DLF-Object Table。