LVM-視頻文本相似性過濾(DLC)組件主要用於過濾相似性過低的視頻(僅支援處理MP4格式的視頻)資料。
支援的計算資源
演算法說明
通過採樣若干視訊框架,計算視訊框架畫面的描述和訓練資料中的描述文本(訓練資料樣本檔案中<__dj__video>欄位後面的內容)的相似性,從而過濾相似性過低的視頻來保證視頻的品質,常用於後續視頻產生模型的訓練。訓練資料檔案格式說明:
輸入資料支援jsonl格式檔案,
輸入資料格式為jsonl格式檔案;其中文字欄位中的"<__dj__video>"和"<|__dj__eoc|>"分別對應視頻描述文本的起始和終止標誌。

videos欄位,為視頻的OSS路徑。
text欄位,即上述演算法說明中的描述文本。
輸入/輸出
輸入樁
通過讀OSS資料組件,讀取訓練資料檔案所在的OSS路徑。
配置此演算法參數視頻資料OSS路徑,選擇訓練資料檔案。
關於訓練資料檔案,詳情請參見演算法說明。
輸出樁
過濾結果。詳情請參見下文中的參數說明。
配置組件
在Designer工作流程頁面添加LVM-視頻文本相似性過濾(DLC)組件,並在介面右側配置相關參數:
參數類型 | 參數 | 是否必選 | 描述 | 預設值 | |
欄位設定 | 視頻資料OSS路徑 | 否 | 訓練資料檔案,詳情請參見演算法說明。 | 無 | |
輸出檔案的OSS路徑 | 是 | 過濾結果的儲存目錄。過濾結果包含以下檔案:
| 無 | ||
輸出的檔案名稱 | 是 | 過濾結果的檔案名稱。 | result.jsonl | ||
參數設定 | 最小文本-映像相似性 | 是 | 需要保留的最小文本-映像相似性。 | 0.1 | |
最大文本-映像相似性 | 是 | 需要保留的最大文本-映像相似性。 | 1 | ||
均勻採樣幀數目 | 是 | 採樣的視訊框架數。系統會在視頻中根據視頻時間長度均勻地採集幀畫面進行分析。 | 3 | ||
執行調優 | 選擇資源群組 | 公用資源群組 | 否 | 選擇節點規格(CPU或GPU執行個體規格)、專用網路。該演算法需使用GPU規格執行個體。 | 無 |
專有資源群組 | 否 | 選擇CPU核心數、記憶體、共用記憶體、GPU卡數。 | 無 | ||
最大運行時間長度 | 否 | 組件最大運行時間長度,超過這個時間,作業會被終止。 | 無 | ||