文生視頻蒸餾 - Platform For AI

文生視頻蒸餾模板從文本描述出發，通過提示詞增廣、視頻產生、抽幀打分等流水線步驟，批量構建高品質的「文本—視頻」配對 SFT 資料集。

模板概述

文生視頻蒸餾模板適用於需要批量構建高品質文生視頻訓練資料的情境。從少量種子提示詞出發，先把種子提示詞增廣並過濾均衡成更多樣的視頻提示，再對齊到產生模型偏好的指令模板，由文生視頻模型批量產生視頻，最後按指令一致性、視覺品質與主體一致性等維度抽幀打分並按閾值過濾，產出可直接用於微調的文生視頻 SFT 資料集。

重要

該模板僅支援一段式建立：蒸餾資料構建，不包含學生模型訓練階段。

文生視頻蒸餾模板的流水線包含以下步驟：

步驟	名稱	說明
1	資料增廣	將少量種子提示詞增廣並過濾均衡成更多樣的視頻提示。
2	資料過濾	過濾均衡後的提示詞，保留高品質樣本。
3	指令最佳化與對齊	將提示詞對齊到產生模型偏好的指令模板。
4	教師產生	由文生視頻模型批量產生視頻。
5	品質評分	按指令一致性、視覺品質與主體一致性等維度對產生的視頻抽幀打分。
6	品質過濾	按閾值過濾低品質樣本，產出可直接用於微調的文生視頻 SFT 資料集。

操作步驟

登入PAI控制台，在左側導覽列選擇模型应用> 模型蒸馏（ModelDistill）。
單擊新建任务，跳轉到蒸馏模板頁簽，或者直接進入蒸馏模板頁簽。
選擇文生視頻蒸餾，單擊使用模板，進入新建蒸馏任务頁面。如下配置關鍵參數，其他保持預設。
進行基础配置：
- 任务名称：系統已自動填滿。
- 输出路径：指定一個有許可權訪問的OSS路徑，如oss://mybucket.oss-cn-hangzhou-internal.aliyuncs.com/t2v-distill/。
  說明
  請確保為每個蒸餾任務建立獨立的輸出目錄，避免檔案被覆蓋。OSS Bucket需與PAI服務在同一地區。
單擊下一步，進入蒸馏数据构建：
- 教师模型：文生視頻蒸餾需要配置三個教師模型（指令構造模型必填，文生視頻模型和裁判模型可選）。詳見本節下方的配置說明。
- 数据集：選擇一個有許可權訪問的OSS目錄或檔案。可直接下載樣本使用。
- 蒸馏配置：已提供了預設配置，需根據實際需要修改。
  - generation.resolution：視頻解析度，預設 720P，支援 480P、720P、1080P。解析度越高，產生成本越高。
  - generation.duration：視頻時間長度（秒），預設 5，取值範圍 [3, 15]。
- 计算资源：资源类型選擇通用计算，资源来源選擇公共资源，在任务资源中選擇合適的资源规格，如ecs.c6.large。
單擊创建，然後在彈出的計費提醒中單擊确定，頁面將自動跳轉至任務詳情的基礎配置頁面，可在此跟蹤任務狀態。

配置說明

以下說明文生視頻蒸餾模板的關鍵配置參數。基礎配置和資源配置與通用蒸餾一致，此處僅列出本模板特有的參數差異。

基礎配置

基礎配置包含任務名稱和輸出路徑兩項。輸出路徑為任務全部產物的輸出根目錄，蒸餾資料集也寫在該目錄下，無需再單獨指定資料集輸出路徑。

蒸餾資料構建

教師模型

文生視頻蒸餾模板需要配置多個教師模型，各模型在流水線中承擔不同角色：

序號	模型角色	說明
1	指令構造模型（必填）	負責提示詞增廣與最佳化對齊的文本或視覺語言模型。建議選擇指令遵循與描寫能力強的模型。
2	文生視頻模型（必填）	實際產生視頻的教師模型。視頻產生較慢，單條最長等待 30 分鐘。
3	裁判模型（可選）	為產生的視頻抽幀打分的視覺語言模型。留空則複用指令構造模型，但純文字模型通常無法解析視訊框架，建議單獨指定。

資料集

選擇輸入目錄或檔案，資料格式要求如下：

格式：JSONL，每行一個視頻提示詞種子。
提示詞欄位必須叫 prompt。
只支援純文字提示詞，不要帶圖片欄位。

樣本資料：

{"id": "t2v_001", "prompt": "A cat walks slowly across the lunar surface, kicking up fine dust, static camera"}
{"id": "t2v_002", "prompt": "Slow push-in on a rainy cyberpunk street at night, neon signs flickering in the reflections"}

蒸餾配置

蒸餾配置以 YAML 格式提供，預置了演算法團隊的推薦預設值，可按需調整。下表列出部分建議關注的參數及其說明。

配置段	說明
backend	指令構造模型的請求參數。 `timeout`（預設 `1200.0`）：單次請求等待上限（秒）。需覆蓋寫滿 max_tokens 的回答而非平均長度，若沿用預設的 120 秒，正常的長回答會被判為逾時。
t2v_backend	文生視頻模型的請求參數。 `max_poll_wait`（預設 `1800.0`）：文生視頻為非同步任務，單條視頻最長等待時間（秒）。視頻產生比圖片慢一個量級。
generation	`resolution`（預設 `720P`）：視頻解析度，支援 480P、720P、1080P。解析度與時間長度越高，單條視頻的產生成本與耗時越高。 `duration`（預設 `5`）：視頻時間長度（整數秒），取值範圍 [3, 15]。 `max_workers`（預設 `1`）：視頻產生並發數。視頻產生成本高、耗時間長度，並發不宜過高。
eval	視頻評分使用 VLM（視覺語言模型）抽幀打分。評分維度（`metrics`）：prompt_consistency（提示詞一致性）、visual_quality（視覺品質）、subject_consistency（主體一致性）。 `frame_sample_count`（預設 `8`）：每條視頻抽取幾幀交給 VLM 評分。 `frame_max_size`（預設 `768`）：幀圖片最大邊長（像素）。
pipeline	`videos_dir`（預設 `work/t2v_videos`）：產生的視頻統一下載到此目錄，供評分與回溯使用。視頻本身不進產物檔案。提示詞增廣階段（`seed_anchored_expansion`）：`rounds` 預設 2（增廣輪次），`generations_per_round` 預設 5（每輪每條種子產生幾條新提示詞）。最終產出約為「種子數 × rounds × generations_per_round」。`passthrough_fields` 可透傳輸入中的額外欄位（如 `first_frame_image`）。提示詞過濾階段（`prompt_filter`）：`dedup` 預設 true（去重），`drop_off_domain` 預設 false（是否丟棄域外提示詞）。視頻產生階段（`t2v_generate`）：`resume` 預設 true，中斷後重跑只補缺不重複產生，避免重複消耗視頻產生費用。品質過濾階段（`quality_filter`）：`min_scores` 設定各維度最低分（prompt_consistency 預設 3，visual_quality 預設 2），低於閾值的樣本被丟棄。