使用 IMS 工作流程 2.0 自動移除視頻字幕 - ApsaraVideo for VOD

ApsaraVideo for VOD工作流程2.0支援整合智能媒體服務（IMS）字幕擦除能力，能夠智能識別並擦除視頻字幕，通過智能填充還原純淨畫面，支援後期製作，實現自動化處理。本文介紹工作流程中字幕擦除的使用方法。

說明

目前已開通的地區為：

華東2（上海）、華北2（北京）、亞太地區東南 1（新加坡）、美洲（美國-西部）。

前提條件

使用工作流程字幕擦除能力節點需要分別開通ApsaraVideo for VOD和智能媒體服務。

功能優勢

字幕擦除已推出進階版本：

進階版（推薦）：實現無痕擦除，解決馬賽克和陰影殘留問題，畫面更自然。通過ModelId參數開啟，詳情請參見ModelId參數。
進階版本採用更優演算法，但處理速度較慢且費用高於普通版。請根據業務需求進行選擇。

使用說明

步驟一：通過控制台配置字幕擦除工作流程

目前僅支援通過點播控制台建立工作流程。

登入ApsaraVideo for VOD控制台。
在左側導覽列選擇配置管理 > 媒体处理配置 > 工作流管理，進入到工作流程管理頁面。
單擊添加工作流程範本，輸入工作流程名稱。
在工作流程編輯頁面，點擊開始節點右側的+按鈕，添加字幕擦除節點。
根據頁面提示，在右側面板完成參數配置：
- 节点名称：自訂字幕擦除節點名稱。
- 樣本素材：用於字幕設定的樣本視頻，不參與工作流程工作，支援mp4、webm、mov、m3u8格式的視頻。
- 識別範圍：預設（視頻底部1/4地區），也支援手動框取。
- 演算法版本：支援基礎版和進階版兩種版本。
  - 進階版（推薦）：支援多時間段無痕擦除，畫面更自然，有效消除馬賽克與陰影殘留。通過設定ModelId參數可啟用進階功能，詳情請參見ModelId參數。
  - 基礎版：擦除後可能會出現馬賽克陰影等殘留痕迹，還原度一般。
- 時間範圍：支援自訂開始時間與結束時間。
  說明
  - 開始與結束時間必須成對填寫。
  - 開始時間不得晚於結束時間。
  - 任一時間為空白將被過濾並視為無效輸入（無效輸入將預設應用全部時間範圍）。
  - 進階版支援最多5個時間段，基礎版僅支援1個。
完成配置後點擊確定，提交工作流程範本產生工作流程ID，請記錄該ID用於後續上傳時指定工作流程。

步驟二：觸發工作流程

使用建立的工作流程處理視頻，支援上傳時或上傳後發起任務。

通過控制台發起工作流程處理

上傳視頻時發起

登入ApsaraVideo for VOD控制台。
在左側導覽列選擇媒资库 > 音/視頻，單擊上傳音/視頻。
在上傳音/視頻介面，單擊添加音/視頻，選擇上傳方式、儲存地址等參數後，選擇用工作流处理，並指定為上一步建立的工作流程。

上傳視頻後發起

登入ApsaraVideo for VOD控制台。
在左側導覽列選擇媒资库 > 音/視頻，進入音/視頻列表頁面。
單擊目標音視頻操作列的媒体处理，選擇用工作流程處理，並指定為上一步建立的工作流程。

通過OpenAPI發起工作流程處理

上傳視頻時發起

擷取音視頻上傳地址和憑證介面僅用於擷取上傳地址和憑證以及建立媒資基礎資訊，並非上傳檔案，需要開發人員自行實現所有上傳邏輯。通過介面上傳的完整樣本，請參見通過ApsaraVideo for VODAPI上傳媒體檔案。
調用擷取音視頻上傳地址和憑證或URL批量拉取上傳介面上傳音視頻時，將WorkflowId參數指定為上一步建立的工作流程ID，則音視頻上傳完成後，點播系統將自動根據您指定的工作流程進行處理。

上傳視頻後發起

調用提交點播工作流程作業介面，將WorkflowId參數指定為上一步建立的工作流程ID，可以立即對音視頻進行工作流程處理。

步驟三：結果查詢

通過ApsaraVideo for VOD控制台查詢

登入ApsaraVideo for VOD控制台。
在左側導覽列選擇媒资库 > 音/視頻，進入音/視頻列表頁面。
在音/視頻列表頁面，找到由工作流程產生的擦除視頻（可通過源視頻名稱、建立時間等篩選）。

通過智能媒體服務控制台查詢

登入智能媒體服務控制台。
在左側導覽列選擇點播ApsaraVideo for Media Processing > 任務管理，進入任務管理頁面，單擊智能擦除標籤頁。
在智能擦除標籤頁，找到由工作流程產生的擦除任務（可通過名稱、建立時間等篩選）。
當任務狀態為成功時，點擊查看，即可查看詳情：
- 擦除任務的基礎參數和配置資訊。
- 擦除視頻的輸入資訊。
- 擦除視頻的輸出資訊和輸出檔案。

通過工作流程工作回調查詢

配置HTTP或輕量訊息佇列（原MNS）回調。
當工作流程工作完成時，系統會觸發工作流程工作完成事件，並通過配置的HTTP或輕量訊息佇列（原MNS）回調推送完整結果。關鍵字段說明如下：
1. Status：任務整體狀態（Succeed/Failed）。
2. ActivityResults：JSON 字串，包含各節點（如 VideoTranslation）的執行詳情，其中 Result 欄位內含翻譯輸出的 MediaId、JobId 等關鍵資訊。
3. TaskInput：原始輸入媒體資訊（如 Media ID、檔案名稱等）。
解析回調訊息體中的 ActivityResults，即可提取翻譯產生的視頻 MediaId 並用於後續播放或分發。

通過OpenAPI查詢

可調用QueryIProductionJob - 查詢智能生產任務查詢任務結果：：傳入擦除任務的 JobId（可在工作流程工作的 ActivityResults.Result.JobId 中擷取），返回該擦除作業的詳細狀態與輸出結果。

JobId：工作流程內部使用SubmitIProductionJob - 提交智能生產任務提交字幕提取任務時返回的作業ID。

返回結果樣本：

{
  "RequestId": "****20b48fb04483915d4f2cd8ac****",
  "JobId": "****20b48fb04483915d4f2cd8ac****",
  "FunctionName": "VideoDetext",
  "Input": {
    "Type": "OSS",
    "Media": "oss://example-bucket/input.mp4"
  },
  "Output": {
    "Type": "OSS",
    "Media": "oss://example-bucket/output.mp4",
    "OutputUrl": "http://example-bucket.oss-cn-shanghai.aliyuncs.com/output.mp4"
  },
  "Status": "Success",
  "CreateTime": "2024-09-24T06:17:09Z",
  "FinishTime": "2024-09-24T06:17:31Z",
  "OutputFiles": ["output.mp4"],
  "OutputUrls": ["http://example-bucket.oss-cn-shanghai.aliyuncs.com/output.mp4"],
  "Result": {}
}

說明

Status為Success表示字幕擦除完成。
處理後的視頻可通過OutputUrls進行訪問。