Platform For AI：LVM-映像文本相似性過濾（DLC）

支援的計算資源

DLC

演算法說明

通過計算映像的描述和訓練資料中的描述文本（訓練資料樣本檔案中<__dj__video>欄位後面的內容）的相似性（基於clip-vit-base-patch32計算），從而過濾相似性過低的映像來保證映像的品質，常用於後續映像產生模型的訓練。訓練資料檔案格式說明：

輸入資料格式為jsonl格式檔案；其中文字欄位中的"<__dj__image>"和"<|__dj__eoc|>"分別對應映像描述文本的起始和終止標誌。

{"images":["oss://bucket_name.oss-cn-hangzhou.aliyuncs.com/image/data/image1.jpg"],"text":"<_dj__image> optional image caption <|__dj__eoc|>"}
{"images":["oss://bucket_name.oss-cn-hangzhou.aliyuncs.com/image/data/image2.jpg"],"text":"<_dj__image><|__dj__eoc|>"}
{"images":["oss://bucket_name.oss-cn-hangzhou.aliyuncs.com/image/data/image3.jpg"],"text":"<_dj__image> a person pointing to a piece of wood on the ground\xxx"}
{"images":["oss://bucket_name.oss-cn-hangzhou.aliyuncs.com/image/data/image4.jpg", "oss://bucket_name.oss-cn-hangzhou.aliyuncs.com/image/data/image5.jpg"],"xxx"}

• images欄位，為映像的OSS路徑。

• text欄位，即上述演算法說明中的描述文本。

輸入/輸出

輸入樁

• 通過讀OSS資料組件，讀取訓練資料檔案所在的OSS路徑。

• 配置此演算法參數映像資料OSS路徑，選擇訓練資料檔案。

關於訓練資料檔案，詳情請參見演算法說明。

輸出樁

過濾結果。詳情請參見下文中的參數說明。

配置組件

在Designer工作流程頁面添加LVM-映像文本相似性過濾（DLC）組件，並在介面右側配置相關參數：