Milvus AI Function 將模型調用封裝為 Collection Function 和 REST 介面,您可以在資料寫入、檢索或商務服務中處理文本、圖片、視頻和音頻,而無需分別維護模型調用鏈路。覆蓋向量化、重排序、內容理解與產生、媒體產生、批量任務和安全檢測等常見 AI 情境。
應用情境
多模態檢索與 RAG:為文本、圖片和視頻產生向量,召回候選內容後再重排序。
內容理解與加工:產生標題、翻譯、摘要、分類、情感分析、關鍵詞、實體和結構化標籤。
媒體生產:轉寫客服錄音,編輯商品圖片,或建立並查詢視頻產生任務。
批量與安全治理:對歷史素材發起非同步批量推理,並在模型調用的輸入或輸出階段啟用安全檢測。
架構
輸入資料與模型服務共同進入 Milvus AI Function 能力層;能力層按函數類型返迴向量、結構化資訊、產生文本或媒體 URL,供搜尋、內容生產和業務系統使用。
支援的 AI Function
下表列出當前文檔目錄中的全部函數。模型列列出模型類型及代表模型;實際可用模型以服務端 Provider 配置為準。
AI Function | 描述 | 輸入模態 | 支援的模型類型/代表模型 |
將內容轉換為稠密向量,用於語義檢索、RAG、聚類、推薦和圖文檢索。 | 文本、圖片、視頻 | 文本 Embedding: | |
為重複文本複用 Redis 精確緩衝中的向量,降低向量化延遲和模型用量。 | 文本 | 文本 Embedding: | |
為 Query 與已召回的候選文本、圖片或視頻打分並重排序。 | 文本、圖片、視頻 | 文本重排序: | |
根據 Prompt 按行產生標題、文案、標籤或欄位補全結果。 | 文本 | 文本模型: | |
將文本翻譯為指定目標語言。 | 文本 | 文本模型: | |
比較成對文本的語義相似性,返回 0~1 分數。 | 文本 | 文本模型: | |
識別並掩碼文本中的個人敏感資訊。 | 文本 | 文本模型: | |
將文本、圖片或視頻壓縮為簡潔摘要。 | 文本、圖片、視頻 | 文本模型: | |
按給定標籤從內容中抽取結構化欄位並返回 JSON。 | 文本、圖片、視頻 | 文本模型: | |
抽取人名、組織、地點、時間、金額等具名實體並返回 JSON。 | 文本、圖片、視頻 | 文本模型: | |
從內容中提取代表性關鍵詞並返回 JSON。 | 文本、圖片、視頻 | 文本模型: | |
在候選標籤中選擇與內容最匹配的一類。 | 文本、圖片、視頻 | 文本模型: | |
從候選情感類別中選擇最匹配的一類。 | 文本、圖片、視頻 | 文本模型: | |
根據文本、圖片、視頻或音頻產生文本結果。 | 文本、圖片、視頻、音頻 | 多模態模型: | |
將音頻 URL 轉寫為可檢索文本。 | 音頻 | 語音辨識模型: | |
根據圖片和提示詞產生編輯後的圖片 URL。 | 文本、圖片 | 映像產生模型: | |
提交文生視頻、圖生視頻或視頻編輯任務,並非同步擷取結果視頻 URL。 | 文本、圖片、視頻 | 視頻模型: | |
將 JSONL 中的 Chat Completions 請求提交為非同步批量任務,輪詢並下載輸出或錯誤檔案。 | 文本、圖片、視頻、音頻 | 文本模型: | |
在模型調用的輸入、輸出或兩個階段檢查不安全內容。 | 文本 | 使用當前 TextTransform 調用的文本模型,例如 |
使用方式
Collection Function:將函數配置到 Collection Schema,適合在寫入、檢索或搜尋階段自動執行。
REST 介面:適合由商務服務即時調用;每個函數頁均提供 cURL 與 Python 樣本。
非同步任務:
AI_BATCH和AI_VIDEO_EDIT返回任務標識,必須查詢至終態後讀取輸出或下載結果。
選擇建議
需要檢索:先使用
AI_EMBEDDING,再按需要使用AI_RERANK;重複文本可啟用AI_EMBEDDING_CACHE。需要理解內容:按目標選擇摘要、抽取、實體、關鍵詞、分類、情感或多模態產生函數。
需要產生媒體:圖片使用
AI_IMAGE_EDIT,視頻使用AI_VIDEO_EDIT;大規模離線處理使用AI_BATCH。需要處理敏感內容:在 TextTransform 請求或 Function 參數中啟用
data_inspection。