快速完成從未經處理資料上傳到向量語義檢索的完整流程,包含三個核心步驟:前置準備、建立資料管道、查看運行結果。
在開始之前,請確保
已建立儲存空間,並將待向量化的未經處理資料上傳至該 Bucket。如僅處理增量資料,可提前規劃好 Bucket 與儲存路徑。建議為待向量化的檔案設定統一的 Object 首碼(如
source/images/),以便在建立資料管道時精確指定處理範圍。如需將 Object Tag 或 User Metadata 作為向量中繼資料寫入,請在上傳時為檔案設定相應的標籤或自訂中繼資料。已在向量 Bucket 中建立向量索引表(Index),且索引維度與所選百鍊向量模型的輸出維度一致。向量 Bucket 必須與源端通用 Bucket 位於同一地區。單張向量索引表的容量上限為 20 億行,請根據預期處理的檔案數量提前規劃索引表數量。
已開通阿里雲百鍊並擷取 API Key(以
sk-開頭),確認您的百鍊 API Key 對應的限流配額(RPM/TPM)滿足預期處理速度要求,如需提升吞吐,需要:通過百鍊控制台或聯絡支援人員提升處理QPS。使用 RAM 子帳號(而非主帳號)操作 AI VibeFlow 時,需要提前完成以下許可權配置。
當前功能白名單開放,需聯絡支援人員申請使用。
步驟一:建立資料管道
資料管道是 AI VibeFlow 的核心對象,定義了從源 Bucket 讀取未經處理資料、調用百鍊模型向量化、寫入向量 Bucket 的完整規則。
登入OSS 管理主控台。
在左側導覽列,單擊AI VibeFlow。
在 AI VibeFlow 頁面,單擊建立資料管道。
按嚮導完成以下配置:
基礎配置
規則名稱:最多 64 個字元,支援大小寫英文字母、數字、連字號(-)和底線(_);同一帳號同地區不可重複。
規則描述:可選,最多 200 個字元。
來源資料配置
源端 Bucket:先選擇地區,再選擇目標 Bucket。
源端檔案範圍:全部檔案處理 Bucket 內全部對象;指定檔案名稱首碼僅處理匹配首碼的對象。
源端檔案類型:可多選文本、圖片、視頻,需與後續向量模型能力匹配。
處理模式:僅處理存量起始資料(建立時已存在的檔案);僅處理後續增量資料(新上傳檔案自動觸發);處理存量和後續增量資料。
向量化配置
向量模型來源:當前僅支援阿里雲百鍊。
API KEY:輸入百鍊 API Key,以
sk-開頭。向量模型:文本模型如
text-embedding-v4(預設)、text-embedding-v3;多模態模型如tongyi-embedding-vision-plus、tongyi-embedding-vision-flash。確保模型輸出維度與向量索引維度一致。視頻截幀頻率:僅多模態模型可配置,取值 (0, 1],預設 1.0。數值越小抽幀越少。
串聯刪除設定:原始 Object 刪除時,保留對應向量資料(預設);原始 Object 刪除時,刪除對應向量資料。
目的端資料配置
向量 Bucket:必須與源端 Bucket 位於同一地區。
向量 Index:從所選向量 Bucket 的索引列表中選擇目標索引表,索引維度須與向量模型輸出維度相同。
向量 Key 命名方式:可選。填寫首碼後格式為
{首碼}/{ObjectKey};不填時與 ObjectKey 保持一致。將 ObjectTag 作為中繼資料:可選,最多 10 個鍵,用於後續標量過濾檢索。
將 UserMeta 作為中繼資料:可選,最多 10 個鍵,系統自動補齊
X-OSS-META-首碼。
異常處理與授權
異常情況處理方式:跳過異常並繼續執行後續處理任務;跳過異常並繼續執行後續處理任務,同時擷取異常資訊詳情(需配置錯誤資訊接收 Bucket 與首碼,接收 Bucket 需與源端 Bucket 位於同一地區且不能為源端 Bucket 本身);一旦異常立即終止後續任務。
授權角色:選擇建立角色自動建立
oss-embedding-{uuid}並綁定。
確認配置:檢查所有配置項,確認無誤後單擊確定。
資料管道建立後不可修改,如需調整請刪除後重建。
步驟二:查看資料管道運行狀態
資料管道建立後自動進入"任務準備中"狀態,隨後轉為"任務運行中"。
在 AI VibeFlow 頁面的規則列表中,可查看每條管道的規則名稱、狀態、建立時間等資訊。單擊規則名稱或"詳情",可查看完整配置與運行統計。
步驟三:管理資料管道(可選)
資料管道建立後,可根據需要執行以下管理操作。
暫停資料管道:處於"運行中"的管道支援手動暫停。暫停後未處理檔案保持等待,已寫入向量資料不受影響。
重啟資料管道:對已暫停管道可重啟繼續處理。若因索引寫滿自動暫停,請先建立新索引,再建立管道指向新索引。
刪除資料管道:刪除後 OSS 停止向量化處理,已寫入的向量資料不會被刪除。運行中的管道請先暫停再刪除。刪除操作不可撤銷。
查看向量化錯誤資訊:若建立管道時選擇了"跳過並記錄錯誤資訊",失敗請求的 ErrorCode、ErrorMessage、百鍊 RequestId 會以 Object 形式寫入指定 Bucket,路徑格式為
{ErrorBucket}/{ErrorPrefix}/{DataPipelineName}/{ObjectKey}-{毫秒時間戳記}.log。
步驟四:執行向量語義檢索
向量化完成後,即可對寫入向量 Bucket 的資料執行語義檢索,構建 RAG 應用或相似內容搜尋服務。具體檢索操作請參見OSS Vectors 快速入門。