全部產品
Search
文件中心

Platform For AI:LVM-合規過濾(DLC)

更新時間:Jul 13, 2024

LVM-合規過濾(DLC)組件主要用於過濾NSFW得分過高的視頻(僅支援處理MP4格式的視頻)資料。

支援的計算資源

DLC

演算法說明

通過採樣若干視訊框架,計算視訊框架的不合規NSFW(Not Safe For Work)得分,從而過濾NSFW得分過高的視頻資料來保證視頻的品質,常用於後續視頻產生模型的訓練。

輸入/輸出

輸入樁

  • 通過讀OSS資料組件,讀取訓練資料所在的OSS路徑。

  • 配置此演算法參數視頻資料OSS路徑,選擇視頻資料所在的OSS目錄,或視頻中繼資料檔案。詳情請參見下文中的參數說明。

  • 使用任意LVM資料處理(DLC)組件作為輸入。

輸出樁

過濾結果。詳情請參見下文中的參數說明。

配置組件

在Designer工作流程頁面添加LVM-合規過濾(DLC)組件,並在介面右側配置相關參數:

參數類型

參數

是否必選

描述

預設值

欄位設定

視頻資料OSS路徑

首次運行時,若無上遊組件,需手動選擇視頻資料所在的OSS目錄。運行時會在該路徑的上一級目錄下產生視頻中繼資料檔案video_meta.jsonl。後續處理此視頻資料時,也可以直接選擇之前產生的video_meta.jsonl檔案。

輸出檔案的OSS路徑

過濾結果的儲存目錄。過濾結果包含以下檔案:

  • {name}.jsonl:過濾結果檔案,即下面參數輸出的檔案名稱

  • {name}_stats.jsonl:過濾狀態檔案。

  • dj_run_yaml.yaml:演算法運行時的參數設定檔。

輸出的檔案名稱

過濾結果的檔案名稱。

result.jsonl

參數設定

nsfw分數閾值

可接受的最大NSFW得分。

0.5

均勻採樣幀數目

採樣的視訊框架數。系統會在視頻中根據視頻時間長度均勻地採集幀畫面進行分析。

1

執行調優

多進程個數

設定進程數。

4

選擇資源群組

公用資源群組

選擇節點規格(CPU或GPU執行個體規格)、專用網路。該演算法需使用GPU規格執行個體。

專有資源群組

選擇CPU核心數、記憶體、共用記憶體、GPU卡數。

最大運行時間長度

組件最大運行時間長度,超過這個時間,作業會被終止。