Intelligent Media Services：智能媒資檢索

功能說明

智能媒資檢索，簡稱智能檢索，又稱為多模檢索。通過AI演算法對媒資內容的分析，無需人工對音視頻內容打標，即可直接搜尋音視頻中出現的內容。

阿里雲智能媒體服務的智能檢索能力如下：

• 視頻跨模態搜尋，支援從視覺、音頻、文本多個模態搜尋

• 支援的媒資形式：視頻、音頻、圖片

• 支援的搜尋形式：關鍵詞搜尋、自然語言搜尋、圖片搜尋

• 可支援高達數十萬小時視頻，搜尋結果秒級響應

智能檢索目前有以下幾種搜尋能力，對應的使用情境、成本和費用均有區別。

概念介紹

註：DNA搜尋請直接參閱【媒體DNA的使用】章節

要使用智能檢索，您需要瞭解以下概念：

使用者使用邏輯如下圖所示：

基於控制台的使用流程

準備工作：開啟媒資智能分析

1. 登入智能媒體服務控制台，從左側導覽列進入智能檢索頁面。

2. 點擊右上方的智能檢索配置按鈕，開啟配置頁面：

   1. 如果您想使用標籤檢索，請開啟媒資自動分析

   2. 如果您想使用大模型檢索，請開啟大模型自動分析

上傳媒資

1. 登入智能媒體服務控制台，從左側導覽列進入媒資庫-音/視頻頁面。

2. 點擊上傳音/視頻按鈕，上傳媒資。具體的上傳操作說明，詳見控制台上傳。

3. 上傳完成後，媒資會進行自動分析。分析完成後即可進行搜尋。如果想確認自動分析是否完成，可點擊媒資列表中的管理標籤，進入詳情頁面，查看媒資的內容搜尋入庫狀態。

搜尋媒資

1. 登入智能媒體服務控制台，從左側導覽列進入智能檢索頁面。

2. 切換下拉框，選擇標籤檢索或是大模型檢索：

   1. 如果是標籤檢索，建議query內容為詞語或片語，如人名、地名、關鍵詞等

   2. 如果是大模型檢索，建議query內容為自然語言，例如“海邊日出”、“大街上車來車往”

3. 點擊結構表頭中的媒體類型篩選圖示，可選擇檢索音視頻媒資還是圖片媒資。

基於自建搜尋庫的使用流程

在控制台上使用，只能搜尋智能媒體服務的預設媒資庫。如果您的媒資庫不在智能媒體服務中，又想使用智能檢索，可以通過OpenAPI自建搜尋庫解決。

整體的使用流程：建立搜尋庫 - 建立搜尋索引 - 插入媒資到搜尋庫 - 搜尋

下面是具體的使用方式。

標籤檢索

1. 建立一個指定名字的搜尋庫，介面說明詳見CreateSearchLib - 建立搜尋庫。

2. 在這個搜尋庫中建立索引，介面詳見CreateSearchIndex - 建立搜尋索引。對於標籤檢索，介面中的IndexType欄位需填寫aiLabel。

3. 使用SearchMediaByAILabel - 智能標籤文本搜尋介面搜尋媒資，分為兩個階段：

   1. 第一次調用，選擇粗搜模式，結果返回匹配的媒資列表

   2. 第二次調用，選擇精搜模式，結果返回具體某個媒資中，匹配的片段列表

大模型搜尋

1. 建立一個指定名字的搜尋庫，介面說明詳見CreateSearchLib - 建立搜尋庫。

2. 在這個搜尋庫中建立索引，介面詳見CreateSearchIndex - 建立搜尋索引。對於大模型搜尋，介面中的IndexType欄位需填寫mm。

3. 使用SearchMediaByMultimodal - 大模型搜尋介面搜尋媒資，結果返回匹配的媒資列表，以及每個媒資中匹配的片段。

相似人臉搜尋

1. 建立一個指定名字的搜尋庫，介面說明詳見CreateSearchLib - 建立搜尋庫。

2. 在這個搜尋庫中建立索引，介面詳見CreateSearchIndex - 建立搜尋索引。對於相似人臉搜尋，介面中的IndexType欄位需填寫face。

3. 使用SearchMediaByFace - 人臉圖片搜媒資介面搜尋媒資，結果返回匹配的媒資列表。

4. 使用SearchMediaClipByFace - 人臉圖片搜媒資片段介面進一步搜尋某一個匹配媒資中，對應人臉出現的片段。結果會返回片段列表，以及人臉相關資訊。

玩法技巧

人臉集錦視頻製作

基於人臉檢索產生人臉集錦的功能，是一種融合了Face Service技術與創意表達手段的創新方式。該技術不僅能夠迅速高效地從海量圖片或視頻中定位包含特定人臉的影像，還可以通過智能媒體服務的視訊剪輯及進階模板功能，將這些片段或映像以獨特而富有創意的方式組合成一段人臉集錦，從而記錄生活中的精彩瞬間。實現這一玩法的技巧與步驟介紹詳見人臉集錦視頻製作教程