在電商、多模態搜尋等情境中,單一欄位(如商品標題或圖片)的向量化往往無法同時滿足語義意圖和視覺風格的雙重匹配需求。融合向量功能支援選擇多個欄位(如文字欄位和圖片欄位),通過多模態模型將這些欄位的內容編碼為單一向量值,從而實現"以文搜圖"、"以圖搜文"等跨模態檢索能力。
使用須知
融合向量功能僅支援引擎版本 1.5.8 及以上。若目前的版本較低,請聯絡支援人員申請升級引擎。
支援的模型
融合向量功能通過調用多模態模型服務對欄位內容進行向量化編碼。不同模型對輸入欄位的數量和類型有不同的限制:
|
模型來源 |
模型名稱 |
輸出維度 |
輸入限制 |
|
百鍊平台 |
qwen3-vl-embedding |
支援維度:
|
單個請求最多支援20個內容輸入,其中圖片內容不超過5個 |
|
AI搜尋開放平台 |
ops-gme-qwen2-vl-2b-instruct |
1536維 |
單個請求支援1個圖片與1個文本作為輸入內容 |
|
ops-mm-embedding-v1-2b |
1536維 |
單個請求支援1個圖片與1個文本作為輸入內容 |
|
|
ops-mm-embedding-v1-7b |
3584維 |
單個請求支援1個圖片與1個文本作為輸入內容 |
|
|
ops-mm-embedding-ecom-001 |
128維 |
單個請求支援1個圖片與1個文本作為輸入內容 |
配置融合向量
融合向量在添加表字段配置步驟中進行配置。
-
進入字段配置頁面,在欄位列表中添加參與融合向量的欄位。融合向量至少需要2個參與欄位。
如果參與欄位涉及圖片內容,需先為該欄位配置圖片資料來源。在欄位列表的数据源列中,選擇對應的資料類型(文本或圖片),並根據資料存放區方式配置資料來源。圖片類型支援以下資料來源:URL地址、Base64編碼、OSSObject Storage Service和DLF-Object Table。
-
單擊頁面底部的数据处理按鈕,在資料處理模板下拉框中選擇融合向量。
-
在參與欄位地區,選擇需要參與融合向量編碼的欄位(至少2個)。
-
在服务列表中配置模型服務:
-
模型:從下拉式清單中選擇多模態模型。預設模型為百鍊平台qwen3-vl-embedding。
-
字段名:系統自動產生融合向量的輸出欄位名(如
_fused_vector),無需手動修改。
-
-
在 API Key 處填寫對應模型服務的API Key。
-
閱讀並勾選風險提示和計費提示。
-
點擊確定,完成融合向量配置。
配置完成後,系統將自動產生的融合向量欄位回填至欄位列表中。回填的欄位具有以下特徵:
-
数据源列顯示參與融合向量編碼的源欄位名稱。
-
字段类型列帶有融合標識,表示該欄位經過融合向量處理。
-
操作列支援編輯操作,將重新開啟資料處理配置面板,並回顯已配置的資訊。
其他資料處理模板
除融合向量外,資料處理功能還支援以下模板:
|
模板名稱 |
說明 |
|
稠密向量化 |
將文字欄位轉換為稠密向量 |
|
稠密+稀疏向量化 |
同時產生稠密向量和稀疏向量,用於混合檢索 |
|
圖片向量化 |
將圖片欄位轉換為向量 |
|
圖片內容解析 |
解析圖片中的文字和內容資訊 |
|
圖片內容解析+圖片向量化 |
先解析圖片內容,再進行向量化 |
|
視頻處理 |
處理視頻欄位資料 |
欄位資料來源配置
在欄位配置頁面中,数据源作為獨立列顯示。
-
情境模板預設欄位:資料類型不可修改,保持模板預置的配置。
-
使用者新增欄位:可選擇資料類型為文本或圖片。
图片類型支援的資料來源:URL地址、Base64編碼、OSSObject Storage Service、DLF-Object Table。