Text-to-Video 蒸留テンプレートは、高品質なテキストと動画のペアからなる SFT データセットを大規模に構築します。少数のシードプロンプトから開始し、プロンプト拡張、動画生成、フレームレベルのスコアリングのパイプラインを実行して、テキストから動画を生成するモデルファインチューニング用学習データを作成します。
テンプレートの概要
このテンプレートは、テキストから動画を生成するための学習データを大規模に生成します。少数のシードプロンプトから開始し、プロンプトを拡張して多様化し、生成モデルが求める指示フォーマットに合わせて指示アライメントを行います。その後、テキストから動画を生成するモデルが動画をバッチ生成し、生成された動画をプロンプトの一貫性、ビジュアル品質、主題の一貫性の観点でスコアリングします。低品質なサンプルを除外し、最終的にファインチューニングに利用できる Text-to-Video SFT データセットを作成します。
このテンプレートがサポートする作成ステージは 1 段階のみです：蒸留データ構築。生徒モデルのトレーニングステージは含まれません。
Text-to-Video 蒸留パイプラインは、次のステップで構成されます：
ステップ | 名前 | 説明 |
1 | データ拡張 | 少数のシードプロンプトを、より大規模で多様な動画プロンプト群に拡張します。 |
2 | データフィルタリング | 拡張したプロンプトをフィルタリングしてバランス調整し、高品質なサンプルを保持します。 |
3 | 指示アライメント | 生成モデルが好む指示テンプレートに合わせてプロンプトを整形します。 |
4 | 教師生成 | テキストから動画を生成するモデルが、整形済みプロンプトから動画をバッチ生成します。 |
5 | 品質スコアリング | フレームサンプリングにより、プロンプトの一貫性、ビジュアル品質、主題の一貫性などの観点で生成動画をスコアリングします。 |
6 | 品質フィルタリング | しきい値に基づいて低品質なサンプルを除外し、ファインチューニングに利用できる Text-to-Video SFT データセットを出力します。 |
操作手順
Platform for AI (PAI) コンソールにログインします。左側メニューで、モデルアプリケーション > モデル蒸留 (ModelDistill) を選択します。
タスクの作成 をクリックして 知識蒸留テンプレート タブに移動するか、知識蒸留テンプレート タブに直接移動します。
Text-to-Video 蒸留を選択し、テンプレートの使用 をクリックして、知識蒸留ジョブの作成 ページに移動します。後述の主要パラメーターを設定し、その他の設定はデフォルト値のままにします。
基本設定 を設定します：
タスク名：システムにより自動入力されます。
出力パス：アクセス権限がある OSS パスを指定します。例：
oss://mybucket.oss-cn-hangzhou-internal.aliyuncs.com/t2v-distill/。説明ファイルの上書きを防ぐため、蒸留タスクごとに個別の出力ディレクトリを作成してください。OSS バケットは PAI サービスと同じリージョンにある必要があります。
次へ をクリックして 蒸留データ構築 に移動します：
教師モデル： Text-to-Video 蒸留には 3 つの教師モデルが必要です (指示構築モデルと Text-to-Video モデルは必須ですが、ジャッジモデルは任意です) 。詳細については、以下の「設定パラメーター」セクションをご参照ください。
データセット：アクセス権限がある OSS のディレクトリまたはファイルを選択します。サンプルデータをダウンロードして使用できます。
知識蒸留の設定：デフォルト値が事前入力されています。必要に応じて変更します。
generation.resolution： 動画の解像度。デフォルト： 720P。サポートされる値： 480P, 720P, 1080P。
generation.duration： 動画の長さ (秒) 。デフォルト： 5。有効な範囲： [3, 15]。
計算リソース： リソースタイプ を 汎用コンピューティングリソース に設定し、リソースのソース を パブリックリソース に設定します。次に、タスクリソース から適切な リソース仕様 を選択します。例：
ecs.c6.large。
作成 をクリックし、課金確認ダイアログで OK をクリックします。ページはタスク詳細の基本設定ページにリダイレクトされ、タスクのステータスを追跡できます。
設定パラメーター
このセクションでは、Text-to-Video 蒸留テンプレート固有の主要な設定パラメーターについて説明します。基本設定およびリソース設定は、一般的な蒸留と同じです。ここでは、テンプレート固有のパラメーター差分のみを記載します。
基本設定
基本設定には、タスク名と出力パスが含まれます。出力パスは、蒸留データセットを含むすべてのタスク成果物のルートディレクトリです。データセット用に個別の出力パスを指定する必要はありません。
蒸留データ構築
教師モデル
Text-to-Video 蒸留テンプレートでは、パイプライン内でそれぞれ異なる役割を担う複数の教師モデルが必要です：
番号 | モデルの役割 | 説明 |
1 | 指示構築モデル (必須) | プロンプト拡張と指示アライメントを担当するテキストモデルまたは視覚言語モデルです。指示追従能力と記述能力が高いモデルを選択します。 |
2 | Text-to-Video モデル (必須) | 実際の動画を生成する教師モデルです。動画生成は低速です。動画 1 本の生成に最大 30 分かかる場合があります。 |
3 | ジャッジモデル (任意) | フレームサンプリングにより生成動画をスコアリングする視覚言語モデルです。未指定の場合は指示構築モデルを再利用します。ただし、テキスト専用モデルは通常、動画フレームを解析できません。別のモデルを指定してください。 |
データセット
入力ディレクトリまたはファイルを選択します。データ形式の要件は次のとおりです：
形式： JSONL。動画プロンプトのシードを 1 行に 1 つ指定します。
プロンプトのフィールド名は
promptにする必要があります。テキストプロンプトのみをサポートします。画像フィールドは含めないでください。
サンプルデータ：
{"id": "t2v_001", "prompt": "A cat walks slowly across the lunar surface, kicking up fine dust, static camera"}
{"id": "t2v_002", "prompt": "Slow push-in on a rainy cyberpunk street at night, neon signs flickering in the reflections"}蒸留設定
蒸留設定は、アルゴリズムチームが推奨するデフォルト値を含む YAML 形式で提供されます。必要に応じてパラメーターを調整してください。次の表では、主要パラメーターについて説明します。
セクション | 説明 |
backend | 指示構築モデルのリクエストパラメーターです。
|
t2v_backend | Text-to-Video モデルのリクエストパラメーターです。
|
generation |
|
eval | 動画のスコアリングでは、VLM (視覚言語モデル) を使用してフレームサンプリングで評価します。
|
pipeline |
|