Alibaba Cloud Model Studio:動画生成モデルのファインチューニング

画像動画生成 を利用する際に、 プロンプト最適化 や 公式動画エフェクト の呼び出しで 特定のアクション、エフェクト、スタイル に関するカスタム要件を満たせない場合は、 モデルファインチューニング を使用します。

適用範囲

• 適用リージョン：本ドキュメントで説明する機能は、シンガポールリージョンでのみ利用可能です。このリージョンで作成された API キー を使用する必要があります。

• サポートされるファインチューニング手法：効率的な SFT-LoRA ファインチューニング。

• ファインチューニングをサポートするモデル：

  • 画像動画生成 (先頭フレームベース)：wan2.7-i2v、wan2.6-i2v、wan2.5-i2v-preview、wan2.2-i2v-flash。
  • 画像動画生成 (先頭・最終フレームベース)：wan2.2-kf2v-flash。

モデルのファインチューニング方法

画像動画生成 (先頭フレームベース)

ファインチューニングの目標：マネーレインエフェクト用の LoRA モデルをトレーニングする。

期待される結果：先頭フレーム画像を入力すると、プロンプトなしでモデルがマネーレインエフェクト付きの動画を生成する。

入力された先頭フレーム画像

出力動画 (ファインチューニング前) プロンプトを使用しても、一貫したマネーレインエフェクトを毎回生成することはできず、動きも制御できません。

出力動画 (ファインチューニング後) ファインチューニング済みのモデルは、プロンプトなしでトレーニングデータセットから特定のマネーレインエフェクトを再現します。

画像動画生成 (先頭・最終フレームベース)

ファインチューニングの目標：ファッション雑誌エフェクト用の LoRA モデルをトレーニングする。

期待される結果：先頭フレーム画像と最終フレーム画像を入力すると、プロンプトなしでモデルがファッション雑誌エフェクト付きの動画を生成する。

入力された先頭フレーム画像

入力された最終フレーム画像

出力動画 (ファインチューニング前) プロンプトを使用しても、一貫したファッション雑誌エフェクトを毎回生成することはできず、動きも制御できません。

出力動画 (ファインチューニング後) ファインチューニング済みのモデルは、プロンプトなしでトレーニングデータセットから特定のファッション雑誌エフェクトを再現します。

以下のコードを実行する前に、API キーと API ホストを取得し、API キーを設定してください。

ステップ 1：データセットのアップロード

ローカルのデータセット (.zip 形式) を Alibaba Cloud Model Studio にアップロードし、ファイル ID (id) を取得します。

トレーニングデータセットのサンプル：フォーマットの詳細はトレーニングセットをご参照ください。

• 画像動画生成 (先頭フレームベース)：wan-i2v-training-dataset.zip。
• 画像動画生成 (先頭・最終フレームベース)：wan-kf2v-training-dataset.zip。

この例では、先頭フレームベースの画像動画生成モデルを使用します。トレーニングセットのみをアップロードしてください。システムが自動的に一部を検証データセットとして分割します。データセットのアップロードには数分かかります。正確な時間はファイルサイズによって異なります。

curl --location --request POST 'https://dashscope-intl.aliyuncs.com/compatible-mode/v1/files' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--form 'file=@"./wan-i2v-training-dataset.zip"' \
--form 'purpose="fine-tune"'

id を保存します。これは、アップロードしたデータセットの一意の識別子です。

{
    "id": "file-ft-b2416bacc4d742xxxx",
    "object": "file",
    "bytes": 73310369,
    "filename": "wan-i2v-training-dataset.zip",
    "purpose": "fine-tune",
    "status": "processed",
    "created_at": 1766127125
}

ステップ 2：モデルのファインチューニング

ステップ 2.1 ファインチューニングジョブの作成

ステップ 1 で取得したファイル ID を使用してトレーニングを開始します。

前のステップで取得した id の値で <replace with training dataset file ID> を完全に置き換えます。

curl --location 'https://dashscope-intl.aliyuncs.com/api/v1/fine-tunes' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' \
--data '{
    "model": "wan2.7-i2v",
    "training_file_ids": [
        "<your-training-dataset-file-id>"
    ],
    "training_type": "efficient_sft",
    "hyper_parameters": {
        "n_epochs": 50,
        "batch_size": 1,
        "learning_rate": 2e-5,
        "split": 0.9,
        "max_split_val_dataset_sample": 5,
        "eval_epochs": 20,
        "max_pixels": 102400,
        "save_total_limit": 10,
        "lora_rank": 32,
        "lora_alpha": 32
    }
}'

curl --location 'https://dashscope-intl.aliyuncs.com/api/v1/fine-tunes' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' \
--data '{
    "model": "wan2.2-kf2v-flash",
    "training_file_ids": [
        "<your-training-dataset-file-id>"
    ],
    "training_type": "efficient_sft",
    "hyper_parameters": {
        "n_epochs": 50,
        "batch_size": 4,
        "learning_rate": 2e-5,
        "split": 0.9,
        "max_split_val_dataset_sample": 5,
        "eval_epochs": 20,
        "max_pixels": 262144,
        "save_total_limit": 10,
        "lora_rank": 32,
        "lora_alpha": 32
    }
}'

output の中のこれら 3 つの主要なパラメーターを確認してください：

• job_id：ジョブ ID。進捗状況の確認に使用します。
• finetuned_output：新しくファインチューニングされたモデルの名前。デプロイメントにこの名前を使用します。
• status：トレーニングステータス。ジョブ作成後、初期ステータスは PENDING です。トレーニングはまだ開始されていません。

{
    ...
    "output": {
        "job_id": "ft-202511111122-xxxx",
        "status": "PENDING",
        "finetuned_output": "xxxx-ft-202511111122-xxxx",
        ...
    }
}

ステップ 2.2 ファインチューニングジョブのステータス確認

ステップ 2.1 で取得した job_id を使用して進捗を確認します。status が SUCCEEDED になるまで、このエンドポイントをポーリングします。

URL 内の <replace with fine-tuning job job_id> を job_id の値で完全に置き換えます。

curl --location 'https://dashscope-intl.aliyuncs.com/api/v1/fine-tunes/<your-job-id>' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json'

output フィールドのこれら 2 つのパラメーターを確認してください：

• status：この値が SUCCEEDED になると、トレーニングは完了です。モデルをデプロイできます。
• usage：トレーニングに使用された合計トークン数。課金に使用されます。

{
    ...
    "output": {
        "job_id": "ft-202511111122-xxxx",
        "status": "SUCCEEDED",
        "usage": 432000,
        ...
    }
}

ステップ 3：ファインチューニング済みモデルのデプロイ

ステップ 3.1 モデルをオンラインサービスとしてデプロイ

ファインチューニングジョブのステータスが SUCCEEDED になった後、モデルをオンラインサービスとしてデプロイします。

ファインチューニングジョブの作成で取得した finetuned_output の値で <replace with model name model_name> を完全に置き換えます。

curl --location 'https://dashscope-intl.aliyuncs.com/api/v1/deployments' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' \
--data '{
    "model_name": "<your-model-name>",
    "aigc_config": {
        "use_input_prompt": false,
        "prompt": "Provide a video description based on the image content. The description must include the phrase “Then the s86b5p money rain effect begins, countless huge-sized US dollar bills (beige background/dark green patterns) pour down like a torrential rain, densely hitting and surrounding them. The bills continue to fall, while the camera slowly zooms in, they stretch their arms upward, neck slightly tilted back, expression surprised, completely immersed in this wild money rain.”\nOutput Template:\nThe video begins with a shot of [subject description]. [Environment description]. Then the s86b5p money rain effect begins, countless huge-sized US dollar bills (beige background/dark green patterns) pour down like a torrential rain, densely hitting and surrounding them. The bills continue to fall, while the camera slowly zooms in, they stretch their arms upward, neck slightly tilted back, expression surprised, completely immersed in this wild money rain.\nExample:\nThe video begins showing a young woman standing in front of a brick wall covered with ivy. She has long, smooth reddish-brown hair, wearing a white sleeveless dress, a shiny silver necklace, and a smile on her face. The brick wall in the background is covered with green vines, appearing rustic and natural. Then the s86b5p money rain effect begins, countless huge-sized US dollar bills (beige background/dark green patterns) pour down like a torrential rain, densely hitting and surrounding her. The bills continue to fall, while the camera slowly zooms in, she stretches her arms upward, neck slightly tilted back, expression surprised, completely immersed in this wild money rain.",
        "lora_prompt_default": "Then the s86b5p money rain effect begins, countless huge-sized US dollar bills (beige background/dark green patterns) pour down like a torrential rain, densely hitting and surrounding the main character. The bills continue to fall, while the camera slowly zooms in, the main character stretches their arms upward, neck slightly tilted back, with a surprised expression, completely immersed in this wild money rain."
    },
    "capacity": 1,
    "plan": "lora"
}'

curl --location 'https://dashscope-intl.aliyuncs.com/api/v1/deployments' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' \
--data '{
    "model_name": "<your-model-name>",
    "aigc_config": {
        "use_input_prompt": false,
        "prompt": "Provide a video description based on the image content. The description must include the phrase “Then they begin the s86b5p transformation.”\nOutput Template:\nThe video begins with a shot of [subject description]. [Environment description]. Then they begin the s86b5p transformation.\nExample:\nThe video begins with a young woman in an outdoor setting. She has short, curly dark brown hair and a friendly smile. She is wearing a black Polo shirt with colorful floral embroidery. The background features green vegetation and distant mountains. Then she begins the s86b5p transformation.",
        "lora_prompt_default": "Then they begin the s86b5p transformation."
    },
    "capacity": 1,
    "plan": "lora"
}'

output の中のこれら 2 つのパラメーターを確認してください：

• deployed_model：デプロイ済みモデルの名前。デプロイメントステータスの確認とモデルの呼び出しに使用します。
• status：デプロイメントステータス。ファインチューニング済みモデルをデプロイした後、初期ステータスは PENDING です。デプロイメントはまだ開始されていません。

{
    ...
    "output": {
        "deployed_model": "xxxx-ft-202511111122-xxxx",
        "status": "PENDING",
        ...
    }
}

ステップ 3.2 デプロイメントステータスの確認

status が RUNNING になるまで、このエンドポイントをポーリングします。

ステップ 3.1 で取得した deployed_model の値で <replace with deployed_model> を完全に置き換えます。

output フィールドのこれら 2 つのパラメーターを確認してください：

• status：ステータスが RUNNING になると、モデルは正常にデプロイされました。呼び出しを開始できます。
• deployed_model：デプロイ済みモデルの名前。

{
    ...
    "output": {
        "status": "RUNNING",
        "deployed_model": "xxxx-ft-202511111122-xxxx",
        ...
    }
}

ステップ 4：モデルを呼び出して動画を生成

モデルのデプロイが成功した後 (デプロイメントの status が RUNNING の場合)、モデルの呼び出しを開始できます。

curl --location 'https://dashscope-intl.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' \
--header 'X-DashScope-Async: enable' \
--data '{
    "model": "<replace with deployed_model name>",
    "input": {
        "media": [
            {
                "type": "first_frame",
                "url": "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/20251219/xmvyqn/lora.webp"
            }
        ]
    },
    "parameters": {
        "resolution": "720P",
        "prompt_extend": false
    }
}'

curl --location 'https://dashscope-intl.aliyuncs.com/api/v1/services/aigc/video-generation/video-synthesis' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' \
--header 'X-DashScope-Async: enable' \
--data '{
    "model": "<デプロイされたモデル名で置き換えます>",
    "input": {
        "img_url": "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/en-US/20251219/xmvyqn/lora.webp"
    },
    "parameters": {
        "resolution": "720P",
        "prompt_extend": false
    }
}'

{
    "output": {
        "task_status": "PENDING",
        "task_id": "0385dc79-5ff8-4d82-bcb6-xxxxxx"
    },
    "request_id": "4909100c-7b5a-9f92-bfe5-xxxxxx"
}

curl --location 'https://dashscope-intl.aliyuncs.com/api/v1/services/aigc/image2video/video-synthesis' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' \
--header 'X-DashScope-Async: enable' \
--data '{
    "model": "<デプロイしたモデル名に置き換えます>",
    "input": {
        "first_frame_url": "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20260113/typemn/kf2v-first.webp",
        "last_frame_url": "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20260113/ekzmff/kf2v_last.webp"
    },
    "parameters": {
        "resolution": "720P",
        "prompt_extend": false
    }
}'

{
    "output": {
        "task_status": "PENDING",
        "task_id": "0385dc79-5ff8-4d82-bcb6-xxxxxx"
    },
    "request_id": "4909100c-7b5a-9f92-bfe5-xxxxxx"
}

curl -X GET https://dashscope-intl.aliyuncs.com/api/v1/tasks/86ecf553-d340-4e21-xxxxxxxxx \
--header "Authorization: Bearer $DASHSCOPE_API_KEY"

{
    "request_id": "c87415d2-f436-41c3-9fe8-xxxxxx",
    "output": {
        "task_id": "a017e64c-012b-431a-84fd-xxxxxx",
        "task_status": "SUCCEEDED",
        "submit_time": "2025-11-12 11:03:33.672",
        "scheduled_time": "2025-11-12 11:03:33.699",
        "end_time": "2025-11-12 11:04:07.088",
        "orig_prompt": "",
        "video_url": "https://dashscope-result-sh.oss-cn-shanghai.aliyuncs.com/xxx.mp4?Expires=xxxx"
    },
    "usage": {
        "duration": 5,
        "video_count": 1,
        "SR": 480
    }
}

カスタムデータセットの構築

このガイドのサンプルデータセットを使用するだけでなく、ファインチューニング用に独自のデータセットを構築することもできます。

データセットにはトレーニングセット (必須) を含める必要があり、検証データセット (任意、トレーニングセットからの自動分割をサポート) を含めることもできます。すべてのファイルを .zip ファイルにパッケージ化します。ファイル名には英字、数字、アンダースコア、ハイフンのみを使用してください。

データセットのフォーマット

トレーニングセット：必須

wan-i2v-training-dataset.zip
├── data.jsonl        # data.jsonl という名前にする必要があります。最大サイズ：20 MB。
├── image_1.jpeg      # 最大解像度：4096×4096。フォーマット：BMP、JPEG、PNG、WEBP。
├── video_1.mp4       # 最大解像度：4096×4096。フォーマット：MP4、MOV。
├── image_2.jpeg
└── video_2.mp4

{
    "prompt": "The video begins showing a young woman standing in front of a brick wall covered with ivy. She has long, smooth reddish-brown hair, wearing a white sleeveless dress, a shiny silver necklace, and a smile on her face. The brick wall in the background is covered with green vines, appearing rustic and natural. Then the s86b5p money rain effect begins, countless huge-sized US dollar bills (beige background/dark green patterns) pour down like a torrential rain, densely hitting and surrounding her. The bills continue to fall, she stretches her arms upward, neck slightly tilted back, expression surprised, completely immersed in this wild money rain.",
    "first_frame_path": "image_1.jpg",
    "video_path": "video_1.mp4"
}

wan-kf2v-training-dataset.zip
├── data.jsonl                # data.jsonl という名前にする必要があります。最大サイズ：20 MB。
├── image/                    # 先頭フレームと最終フレームの画像。
│   ├── image_1_first.jpg     # 最大解像度：4096×4096。フォーマット：BMP、JPEG、PNG、WEBP。
│   └── image_1_last.png
└── video/                    # トレーニング動画。
    ├── video_1.mp4           # 最大解像度：4096×4096。フォーマット：MP4、MOV。
    └── video_2.mov

{
    "prompt": "The video begins by showing a young woman in an outdoor setting. She has short, curly dark brown hair, a smile on her face, and looks very friendly. She is wearing a black polo shirt with colorful floral embroidery, with a background of green vegetation and distant mountains. Then she begins the s86b5p transformation.",
    "first_frame_path": "image/image_1_first.jpg",
    "last_frame_path": "image/image_1_last.jpg",
    "video_path": "video/video_1.mp4"
}

検証データセット：任意

wan-i2v-valid-dataset.zip
├── data.jsonl       # data.jsonl という名前にする必要があります。最大サイズ：20 MB。
├── image_1.jpeg     # 最大解像度：4096×4096。フォーマット：BMP、JPEG、PNG、WEBP。
└── image_2.jpeg

{
    "prompt": "The video begins showing a scene of a young man standing in front of a cityscape. He is wearing a black and white checkered jacket over a black hoodie, with a smile on his face and a confident expression. The background is a city skyline at sunset, with a famous domed building and layered roofs visible in the distance, the sky filled with clouds showing warm orange-yellow hues. Then the s86b5p money rain effect begins, countless huge-sized US dollar bills (beige background/dark green patterns) pour down like a torrential rain, densely hitting and surrounding him. The bills continue to fall while the camera slowly zooms in, he stretches his arms upward, neck slightly tilted back, expression surprised, completely immersed in this wild money rain.",
    "first_frame_path": "image_1.jpg"
}

wan-kf2v-valid-dataset.zip
├── data.jsonl                 # data.jsonl という名前にする必要があります。最大サイズ：20 MB。
└── image/                     # 先頭フレームと最終フレームの画像。
    ├── image_1_first.jpg      # 最大解像度：4096×4096。フォーマット：BMP、JPEG、PNG、WEBP。
    └── image_1_last.jpg

{
    "prompt": "The video begins showing a scene of a young man standing in front of a cityscape. He is wearing a black and white checkered jacket over a black hoodie, with a smile on his face and a confident expression. The background is a city skyline at sunset, with a famous domed building and layered roofs visible in the distance, the sky filled with clouds showing warm orange-yellow hues. Then the s86b5p money rain effect begins, countless huge-sized US dollar bills (beige background/dark green patterns) pour down like a torrential rain, densely hitting and surrounding him. The bills continue to fall while the camera slowly zooms in, he stretches his arms upward, neck slightly tilted back, expression surprised, completely immersed in this wild money rain.",
    "first_frame_path": "image/image_1_first.jpg",
    "last_frame_path": "image/image_1_last.jpg",
}

データ規模と制限

• データ量：少なくとも 10 サンプルを提供してください。トレーニングデータが多いほど、より良い結果が得られます。安定したパフォーマンスのためには 20〜100 サンプルを推奨します。

• ZIP アーカイブ：API 経由でアップロードする場合、合計サイズは 1 GB 以下です。

• トレーニング画像の要件：

  • フォーマット：BMP、JPEG、PNG、WEBP。
  • 解像度 ≤ 4096×4096。
  • 個々のファイルサイズに厳密な制限はありません (システムが自動的に前処理します)。

• トレーニング動画の要件：

  • フォーマット：MP4、MOV。
  • 解像度 ≤ 4096×4096。
  • 個々のファイルサイズに厳密な制限はありません (システムが自動的に前処理します)。
  • 動画ごとの持続時間：wan2.2 モデルでは 2〜5 秒を推奨、wan2.5 モデルでは 2〜10 秒を推奨、wan2.6 および wan2.7 モデルでは 2〜10 秒を推奨。

データ収集とクリーニング

1. ファインチューニングシナリオの定義

Wanxiang は、以下のシナリオで画像動画生成のファインチューニングをサポートします：

• 固定の動画エフェクト：カルーセルや魔法の衣装チェンジなど、特定の視覚的変化をモデルに学習させます。
• 固定のキャラクターアクション：ダンスの動きや武術の技など、特定の身体の動きを再現するモデルの能力を向上させます。
• 固定のカメラモーション：プッシュ、プル、パン、チルト、オービットショットなど、複雑な撮影技術を再現します。

2. 生アセットの収集

• AI 生成とフィルタリング：Wanxiang 基盤モデルを使用して動画をバッチ生成します。ターゲットエフェクトに最も一致する高品質なサンプルを手動で選択します。これが最も一般的な方法です。
• 実写撮影：インタラクティブなシーン (例：ハグ、握手) で高いリアリズムが必要な場合は、実際の映像を使用します。
• 3D ソフトウェアレンダリング：精密な制御が必要なエフェクトや抽象的なアニメーションには、3D ソフトウェア (例：Blender、Cinema 4D) を使用します。

3. データのクリーニング

動画アノテーション：動画のプロンプト作成

データセットのアノテーションファイル (data.jsonl) では、各動画に対応するプロンプトがあります。プロンプトは動画の内容を記述します。プロンプトの品質は、モデルが何を学習するかを直接決定します。

プロンプト作成の公式

良いプロンプトの書き方

エフェクト説明の一貫性ルールに従う

同じエフェクトを含むすべてのサンプルについて、動きの説明部分をできるだけ一貫させるようにしてください。このルールはトレーニングセットと検証セットの両方に適用します。

• 目的：モデルが s86b5p の後に同じ固定された説明を見て、常にマネーレインが表示されると、s86b5p = マネーレインの視覚効果であると学習します。

• 例：被写体が「若い女性」であれ「スーツの男性」であれ、マネーレインエフェクトのプロンプトは同じように終わります：「...そして s86b5p のマネーレインエフェクトが始まり、無数の米ドル紙幣が豪雨のように降り注ぎ...」

  サンプルの種類	プロンプトの内容 (下線部分の一貫性に注意)
  トレーニングサンプル 1	動画はレンガの壁の前に立つ若い女性から始まります... (環境説明は省略)... そして s86b5p のマネーレインエフェクトが始まり、巨大な米ドル紙幣 (ベージュの背景/濃い緑の模様) が豪雨のように降り注ぎ、彼女を密集して打ちつけ、取り囲みます。紙幣は降り続け、彼女は腕を上に伸ばし、首を少し後ろに傾け、驚いた表情で、この激しいマネーレインに完全に没頭しています。
  トレーニングサンプル 2	動画は高級レストランにいるスーツの男性から始まります... (環境説明は省略)... そして s86b5p のマネーレインエフェクトが始まり、巨大な米ドル紙幣 (ベージュの背景/濃い緑の模様) が豪雨のように降り注ぎ、彼を密集して打ちつけ、取り囲みます。紙幣は降り続け、彼は腕を上に伸ばし、首を少し後ろに傾け、驚いた表情で、この激しいマネーレインに完全に没頭しています。
  検証サンプル 1	動画は街並みの前に立つ幼い子供から始まります... (環境説明は省略)... そして s86b5p のマネーレインエフェクトが始まり、巨大な米ドル紙幣 (ベージュの背景/濃い緑の模様) が豪雨のように降り注ぎ、彼を密集して打ちつけ、取り囲みます。紙幣は降り続け、カメラがゆっくりとズームインする間、彼は腕を上に伸ばし、首を少し後ろに傾け、驚いた表情で、この激しいマネーレインに完全に没頭しています。

AI を使用してプロンプトを生成する

高品質なプロンプトを得るために、Qwen-VL などのマルチモーダル大規模言語モデルを使用して支援を受けることができます。

1. AI を使用して初期の説明を生成する

   1. 自由形式のブレインストーミング (インスピレーションを見つける)：エフェクトをどのように説明すればよいかわからない場合は、AI に自由に探求させます。

      • 「動画の内容を詳細に説明してください」と送信し、モデルの出力を観察します。
      • モデルが動きの軌跡に使用する用語 (例：「豪雨のように降り注ぐ」、「カメラがゆっくりとズームインする」) に注目します。これらの用語は後の最適化に使用できます。

   2. 固定形式のプロンプト (出力を標準化する)：大まかなアイデアが固まったら、固定形式を設計して、AI がテンプレートに一致するプロンプトを生成するように誘導します。

      コード例

      API 呼び出しの詳細については、「視覚理解」をご参照ください。

      import os
      from openai import OpenAI
      
      client = OpenAI(
          # API キーは北京リージョンとシンガポールリージョンで異なります。API キーの取得：https://www.alibabacloud.com/help/zh/model-studio/get-api-key
          # 環境変数を設定していない場合は、次の行を api_key="sk-xxx" に置き換えてください。
          api_key=os.getenv("DASHSCOPE_API_KEY"),
          # シンガポールリージョンのベース URL。北京リージョンの場合は、https://dashscope.aliyuncs.com/compatible-mode/v1 に置き換えてください。
          base_url="https://dashscope-intl.aliyuncs.com/compatible-mode/v1",
      )
      completion = client.chat.completions.create(
          model="qwen3-vl-plus",
          messages=[
              {"role": "user","content": [{
                  # 動画ファイルを直接渡す場合、type を video_url に設定します。
                  # OpenAI SDK を使用する場合、フレームはデフォルトで 0.5 秒ごとにサンプリングされ、変更できません。カスタムフレームレートの場合は、DashScope SDK を使用してください。
                  "type": "video_url",
                  "video_url": {"url": "https://cloud.video.taobao.com/vod/Tm1s_RpnvdXfarR12RekQtR66lbYXj1uziPzMmJoPmI.mp4"}},
                  {"type": "text", "text": "Analyze the video carefully and generate a detailed video description using the following fixed format:"
                                          "Format template: The video begins with [subject description]. The background is [background description]. Then the s86b5p melting effect begins, [detailed motion description]."
                                          "Requirements:"
                                          "1.[Subject description]: Describe people or objects in the frame in detail, including appearance, clothing, and expressions."
                                          "2.[Background description]: Describe the environment, lighting, and weather in detail."
                                          "3.[Motion description]: Describe dynamic changes during the effect (e.g., how objects move, how lighting changes, how the camera moves)."
                                          "4.Integrate all content naturally into the format. Do not keep “[ ]” symbols or add unrelated text."}]
               }]
      )
      print(completion.choices[0].message.content)
      

2. エフェクトテンプレートの抽出
   1. 同じエフェクトを持つサンプルでこのプロセスを複数回実行します。エフェクトを説明するために使用される高頻度で正確なフレーズを特定します。一般的な「エフェクト説明」を抽出します。
   2. この標準化されたエフェクト説明を、そのエフェクトのすべてのサンプルにコピー＆ペーストします。
   3. 各サンプルのユニークな「被写体」と「背景」の説明は保持します。「エフェクト説明」部分のみを統一されたテンプレートに置き換えます。
3. 手動レビュー

   AI はハルシネーションを起こしたり、検出エラーを犯したりする可能性があります。最終ステップとして、手動でチェックを行います。例えば、エンティティと背景の説明が実際のシーンと一致しているかを確認します。

検証データセットを使用したモデルの評価

検証データセットの指定

ファインチューニングジョブにはトレーニングセットが必要です。検証データセットは任意です。システムに自動分割させるか、手動でアップロードするかを選択できます。以下のように指定します：

方法 1：検証データセットをアップロードしない (システムが自動分割)

ファインチューニングジョブを作成する際に、別の検証データセットをアップロードしない場合、つまり validation_file_ids パラメーターが渡されない場合、システムは以下の 2 つのハイパーパラメーターに基づいてトレーニングセットの一部を自動的に分割して検証セットとして使用します：

• split：分割するトレーニングデータの割合。例えば、0.9 は 90% をトレーニング用、10% を検証用とすることを意味します。
• max_split_val_dataset_sample：自動分割される検証セットの最大サンプル数。

検証セットの分割ルール：システムは データセットサイズ × (1 - split) と max_split_val_dataset_sample の小さい方の値を選択します。

• 例：100 サンプルのトレーニングセットのみをアップロードし、split=0.9 (10% が検証用)、max_split_val_dataset_sample=5 とします。

  • 理論上の分割：100 × 10% = 10 サンプル。
  • 実際の分割：min(10, 5)=5。したがって、システムは検証セットにわずか 5 サンプルしか使用しません。

方法 2：検証データセットを手動でアップロードする (validation_file_ids を使用)

ランダムなシステム分割に頼るのではなく、独自に準備したデータでチェックポイントを評価したい場合は、カスタム検証データセットをアップロードします。

注意：手動アップロードを選択すると、システムは上記の自動分割ルールを無視し、アップロードしたデータのみで検証します。

{
    "model":"wan2.5-i2v-preview",
    "training_file_ids":[ "<training set file ID>" ],
    "validation_file_ids": [ "<custom validation set file ID>" ],
    ...
}

デプロイメントに最適なチェックポイントの選択

トレーニング中、システムは定期的に「スナップショット」(チェックポイント) を保存します。デフォルトでは、システムは最終チェックポイントをファインチューニング済みモデルとして出力します。しかし、中間チェックポイントが最終バージョンを上回ることもあります。デプロイメントに最適なものを選択できます。

システムは、ハイパーパラメーター eval_epochs で定義された間隔で、検証セット上でチェックポイントを実行し、プレビュー動画を生成します。

• 評価：プレビュー動画を直接見て判断します。
• 選択基準：最高の視覚品質で、動きの歪みがないチェックポイントを選択します。

手順

curl --location 'https://dashscope-intl.aliyuncs.com/api/v1/fine-tunes/<replace_with_fine-tuning_job_id>/validation-results' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json'

{
    "request_id": "da1310f5-5a21-4e29-99d4-xxxxxx",
    "output": [
        {
            "checkpoint": "checkpoint-160"
        },
        ...
    ]
}

curl --location 'https://dashscope-intl.aliyuncs.com/api/v1/fine-tunes/<replace_with_fine-tuning_job_id>/validation-details/<replace_with_selected_checkpoint>?page_no=1&page_size=10' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY"

{
    "request_id": "375b3ad0-d3fa-451f-b629-xxxxxxx",
    "output": {
        "page_no": 1,
        "page_size": 10,
        "total": 1,
        "list": [
            {
                "video_path": "https://finetune-result.oss-cn-wulanchabu.aliyuncs.com/xxx.mp4?Expires=xxxx",
                "prompt": "The video begins with a young man sitting in a cafe...",
                "first_frame_path": "https://finetune-result.oss-cn-wulanchabu.aliyuncs.com/xxx.jpeg"
            }
        ]
    }
}

curl --location 'https://dashscope-intl.aliyuncs.com/api/v1/fine-tunes/<replace_with_fine-tuning_job_id>/export/<replace_with_checkpoint_to_export>?model_name=<replace_with_exported_model_name_for_console_display>' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY"

{
    "request_id": "0817d1ed-b6b6-4383-9650-xxxxx",
    "output": true
}

curl --location 'https://dashscope-intl.aliyuncs.com/api/v1/fine-tunes/<replace_with_fine-tuning_job_id>/checkpoints' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY"

{
    "request_id": "b0e33c6e-404b-4524-87ac-xxxxxx",
    "output": [
         ...,
        {
            "create_time": "2025-11-11T13:27:29",
            "full_name": "ft-202511111122-496e-checkpoint-160",
            "job_id": "ft-202511111122-496e",
            "checkpoint": "checkpoint-160",
            "model_name": "xxxx-ft-202511111122-xxxx-c160", // 重要フィールド。モデルのデプロイメントと呼び出しに使用します。
            "model_display_name": "xxxx-ft-202511111122-xxxx",
            "status": "SUCCEEDED" // 正常にエクスポートされたチェックポイント。
        },
        ...

    ]
}

本番運用

本番環境で、最初にトレーニングしたモデルのパフォーマンスが低い場合 (例：視覚的な歪み、弱いエフェクト、不正確な動き)、以下のディメンションに沿って調整します：

• データの一貫性：一貫性は非常に重要です。逆方向や大きく異なるスタイルの「不良サンプル」がないか確認してください。
• サンプル数：高品質なデータを 20 サンプル以上に増やしてください。
• プロンプト：トリガーワードが意味のない、珍しい用語 (例：s86b5p) であることを確認してください。干渉を引き起こす一般的な単語 (例：running) は避けてください。

• n_epochs (トレーニングエポック)

  • デフォルト：50。必要な場合以外はデフォルトを使用してください。調整する場合は、「合計トレーニングステップ数 ≥ 800」のルールに従ってください。

  • 合計ステップ数の数式：steps = n_epochs × ceiling (トレーニングセットサイズ / バッチサイズ)。

  • n_epochs の最小値の数式：n_epochs = 800 / ceiling (データセットサイズ / バッチサイズ)。

  • 例：5 サンプルのトレーニングセットがあり、Wan2.5 モデル (batch_size=4) を使用するとします。

    • エポックあたりのステップ数：5 / 4 = 1.25、切り上げて 2。合計エポック数：n_epochs = 800 / 2 = 400。これが推奨される最小値です。必要に応じて増やすことができます。
• batch_size (バッチサイズ)
  • バッチサイズ。一度にトレーニングのためにモデルに送信されるデータサンプルの数。
  • このパラメーターはインスタンスごとの設定です。各モデルのデフォルト値を使用することを推奨します。必要な場合以外は調整しないでください。
  • wan2.7-i2v：推奨値：1。
  • wan2.5-i2v-preview：推奨値：4。
  • wan2.2-i2v-flash：推奨値：4。
  • wan2.2-kf2v-flash：推奨値：4。

  トレーニングジョブで実行される実際のインスタンス数は、プラットフォームのスケジューリングによって決定されます。トレーニングログの Global Step 出力は推定結果と異なる場合がありますが、これはトレーニングデータの総量や最終的なモデルのパフォーマンスには影響しません。

• learning_rate (学習率)：デフォルト値 (2e-5) を使用してください。通常、変更は不要です。

課金

• モデルトレーニング：課金対象。
  • コスト = 合計トレーニングトークン数 × 単価。モデルトレーニングの課金をご参照ください。
  • トレーニング後、ファインチューニングジョブのステータスをクエリする API の usage フィールドで消費された合計トークン数を確認してください。

• モデルデプロイメント：無料。

• モデルの呼び出し：課金対象。
  • ファインチューニングされた基盤モデルの標準呼び出し価格に従って課金されます。モデルの価格設定をご参照ください。

API リファレンス

動画および画像生成モデルのファインチューニング API

よくある質問

Q：トレーニングセットと検証セットのデータ量はどのように計算されますか？

A：トレーニングセットは必須で、検証セットは任意です。計算方法は以下の通りです：

• 検証セットが提供されていない場合：アップロードされたトレーニングセットが「合計データセットサイズ」となります。システムは自動的にデータの一部を検証用に分割します。

  • 検証セットサイズ = min(合計データセットサイズ × (1 − split), max_split_val_dataset_sample)。例については、検証データセットの指定をご参照ください。
  • トレーニングセットサイズ = 合計データセットサイズ − 検証セットサイズ。

• 検証セットが手動でアップロードされた場合：システムはトレーニングデータから検証セットを分割しなくなります。

  • トレーニングセットサイズ = アップロードされたトレーニングセットのデータ量。
  • 検証セットサイズ = アップロードされた検証セットのデータ量。

Q：良いトリガーワードを設計するにはどうすればよいですか？

A：以下のルールに従ってください：

• 意味のない文字の組み合わせを使用します。例：sksstyle、a8z2_bbb。
• 一般的な英単語 (例：beautiful、fire、dance) は避けてください。これにより、モデルがこれらの単語に対して元々持っている理解を汚染するのを防ぎます。

Q：ファインチューニングで動画の解像度や持続時間を変更できますか？

A：いいえ。ファインチューニングは「内容」と「ダイナミクス」を学習するものであり、「仕様」ではありません。出力動画のフォーマット (解像度、フレームレート、最大持続時間) は、依然として基盤モデルによって決定されます。