LVM影像處理演算法提供了映像清洗、映像內容清理、映像基本資料的提取、映像caption產生的功能。您可以根據實際需求組合不同的演算法,從而過濾出合適的映像資料並產生相應的文本描述,方便為後續的映像產生模型訓練提供優質的映像資料。本文為您介紹Designer中映像-文本對過濾預置模板的使用說明。
使用限制
映像-文本對過濾預置模板僅支援華東1(杭州)、華東2(上海)、華北2(北京)、華南1(深圳)地區使用。
準備映像資料
PAI為您提供樣本資料可作參考:
下載映像中繼資料檔案和影像檔。
映像中繼資料檔案:image_meta.jsonl,可作為映像文本演算法輸入項。
影像檔:data.zip,可作為一般影像處理演算法的輸入項。
解壓並上傳影像檔至OSS。具體操作,請參見簡單上傳至OSS。
修改映像中繼資料檔案。
將映像中繼資料檔案中的配置
oss://bucket_name.oss-cn-hangzhou.aliyuncs.com/image_algorithm_test/image_data/替換為上傳圖片的OSS Bucket目錄。
上傳映像中繼資料檔案至步驟 2同一OSS Bucket中。具體操作,請參見簡單上傳至OSS。
建立並運行工作流程
進入Designer頁面。
登入PAI控制台。
在頂部左上方根據實際情況選擇地區。
在左側導覽列選擇工作空間列表,單擊指定工作空間名稱,進入對應工作空間。
在左側導覽列選擇模型開發與訓練 > 可視化建模(Designer),進入Designer頁面。
建立工作流程。
在預置模板頁簽下,選擇業務領域 > 多模態大模型,單擊映像-文本對過濾模板卡片上的建立。

配置工作流程參數(或保持預設),單擊確定。
在工作流程列表,選擇已建立的工作流程,單擊進入工作流程。
配置工作流程。
配置讀OSS資料組件:單擊讀OSS資料組件,在右側欄位設定頁簽,配置OSS資料路徑為映像資料檔案所在的OSS Bucket目錄。
配置LLMDataProcessGroup1組:單擊設定按鈕
,配置資料輸出OSS目錄,後續運行工作流程產生的結果檔案將儲存至該目錄中。關於LVM映像預先處理演算法組件的相關配置說明,請參見映像預先處理運算元。
運行工作流程。運行結束後,查看產生的檔案:
meta.jsonl檔案:運行時會在映像資料OSS路徑的上一級目錄下產生映像中繼資料檔案meta.jsonl。
結果檔案:在輸出檔案的OSS路徑中查看結果檔案。
關於結果檔案詳細說明,請參見映像預先處理運算元中輸出檔案的OSS路徑參數介紹。