Alibaba Cloud Model Studio:動画生成モデルのファインチューニング

画像から動画へ (先頭フレームベース)

curl --location 'https://dashscope-intl.aliyuncs.com/api/v1/fine-tunes' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' \
--data '{
    "model": "wan2.7-i2v",
    "training_file_ids": [
        "<your-training-dataset-file-id>"
    ],
    "training_type": "efficient_sft",
    "hyper_parameters": {
        "n_epochs": 400,
        "batch_size": 1,
        "learning_rate": 2e-5,
        "split": 0.9,
        "max_split_val_dataset_sample": 5,
        "eval_epochs": 50,
        "max_pixels": 102400,
        "save_total_limit": 10,
        "lora_rank": 32,
        "lora_alpha": 32
    }
}'

画像から動画へ (先頭および最終フレームベース)

curl --location 'https://dashscope-intl.aliyuncs.com/api/v1/fine-tunes' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' \
--data '{
    "model": "wan2.2-kf2v-flash",
    "training_file_ids": [
        "<your-training-dataset-file-id>"
    ],
    "training_type": "efficient_sft",
    "hyper_parameters": {
        "n_epochs": 400,
        "batch_size": 4,
        "learning_rate": 2e-5,
        "split": 0.9,
        "max_split_val_dataset_sample": 5,
        "eval_epochs": 50,
        "max_pixels": 262144,
        "save_total_limit": 10,
        "lora_rank": 32,
        "lora_alpha": 32
    }
}'

画像から動画へ (先頭フレームベース)

curl --location 'https://dashscope-intl.aliyuncs.com/api/v1/deployments' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' \
--data '{
    "model_name": "<your-model-name>",
    "aigc_config": {
        "use_input_prompt": false,
        "prompt": "Provide a video description based on the image content. The description must include the phrase “Then the s86b5p money rain effect begins, countless huge-sized US dollar bills (beige background/dark green patterns) pour down like a torrential rain, densely hitting and surrounding them. The bills continue to fall, while the camera slowly zooms in, they stretch their arms upward, neck slightly tilted back, expression surprised, completely immersed in this wild money rain.”\nOutput Template:\nThe video begins with a shot of [subject description]. [Environment description]. Then the s86b5p money rain effect begins, countless huge-sized US dollar bills (beige background/dark green patterns) pour down like a torrential rain, densely hitting and surrounding them. The bills continue to fall, while the camera slowly zooms in, they stretch their arms upward, neck slightly tilted back, expression surprised, completely immersed in this wild money rain.\nExample:\nThe video begins showing a young woman standing in front of a brick wall covered with ivy. She has long, smooth reddish-brown hair, wearing a white sleeveless dress, a shiny silver necklace, and a smile on her face. The brick wall in the background is covered with green vines, appearing rustic and natural. Then the s86b5p money rain effect begins, countless huge-sized US dollar bills (beige background/dark green patterns) pour down like a torrential rain, densely hitting and surrounding her. The bills continue to fall, while the camera slowly zooms in, she stretches her arms upward, neck slightly tilted back, expression surprised, completely immersed in this wild money rain.",
        "lora_prompt_default": "Then the s86b5p money rain effect begins, countless huge-sized US dollar bills (beige background/dark green patterns) pour down like a torrential rain, densely hitting and surrounding the main character. The bills continue to fall, while the camera slowly zooms in, the main character stretches their arms upward, neck slightly tilted back, with a surprised expression, completely immersed in this wild money rain."
    },
    "capacity": 1,
    "plan": "lora"
}'

画像から動画へ (先頭および最終フレームベース)

curl --location 'https://dashscope-intl.aliyuncs.com/api/v1/deployments' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' \
--data '{
    "model_name": "<your-model-name>",
    "aigc_config": {
        "use_input_prompt": false,
        "prompt": "Provide a video description based on the image content. The description must include the phrase “Then they begin the s86b5p transformation.”\nOutput Template:\nThe video begins with a shot of [subject description]. [Environment description]. Then they begin the s86b5p transformation.\nExample:\nThe video begins with a young woman in an outdoor setting. She has short, curly dark brown hair and a friendly smile. She is wearing a black Polo shirt with colorful floral embroidery. The background features green vegetation and distant mountains. Then she begins the s86b5p transformation.",
        "lora_prompt_default": "Then they begin the s86b5p transformation."
    },
    "capacity": 1,
    "plan": "lora"
}'

画像から動画へ (先頭フレームベース)

トレーニングセットには、先頭フレームの画像、トレーニング動画、およびアノテーションファイル (data.jsonl) が含まれます。

• サンプルトレーニングセット：wan-i2v-training-dataset.zip。

• ZIP ディレクトリ構造：

  wan-i2v-training-dataset.zip
  ├── data.jsonl        # data.jsonl という名前にする必要があります。最大サイズ：20 MB。
  ├── image_1.jpeg      # 最大解像度：4096×4096。フォーマット：BMP、JPEG、PNG、WEBP。
  ├── video_1.mp4       # 最大解像度：4096×4096。フォーマット：MP4、MOV。
  ├── image_2.jpeg
  └── video_2.mp4

• アノテーションファイル (data.jsonl)：各行が 1 つのトレーニングサンプルです。JSON オブジェクトである必要があります。構造：

  {
      "prompt": "The video begins showing a young woman standing in front of a brick wall covered with ivy. She has long, smooth reddish-brown hair, wearing a white sleeveless dress, a shiny silver necklace, and a smile on her face. The brick wall in the background is covered with green vines, appearing rustic and natural. Then the s86b5p money rain effect begins, countless huge-sized US dollar bills (beige background/dark green patterns) pour down like a torrential rain, densely hitting and surrounding her. The bills continue to fall, she stretches her arms upward, neck slightly tilted back, expression surprised, completely immersed in this wild money rain.",
      "first_frame_path": "image_1.jpg",
      "video_path": "video_1.mp4"        
  }

画像から動画へ (先頭および最終フレームベース)

トレーニングセットには、先頭フレームの画像、最終フレームの画像、トレーニング動画、およびアノテーションファイル (data.jsonl) が含まれます。

• サンプルトレーニングセット：wan-kf2v-training-dataset.zip。

• ZIP ディレクトリ構造：

  wan-kf2v-training-dataset.zip
  ├── data.jsonl                # data.jsonl という名前にする必要があります。最大サイズ：20 MB。
  ├── image/                    # 先頭フレームと最終フレームの画像。
  │   ├── image_1_first.jpg     # 最大解像度：4096×4096。フォーマット：BMP、JPEG、PNG、WEBP。
  │   └── image_1_last.png
  └── video/                    # トレーニング動画。
      ├── video_1.mp4           # 最大解像度：4096×4096。フォーマット：MP4、MOV。
      └── video_2.mov

• アノテーションファイル (data.jsonl)：各行が 1 つのトレーニングサンプルです。JSON オブジェクトである必要があります。構造：

  {
      "prompt": "The video begins by showing a young woman in an outdoor setting. She has short, curly dark brown hair, a smile on her face, and looks very friendly. She is wearing a black polo shirt with colorful floral embroidery, with a background of green vegetation and distant mountains. Then she begins the s86b5p transformation.",
      "first_frame_path": "image/image_1_first.jpg",
      "last_frame_path": "image/image_1_last.jpg", 
      "video_path": "video/video_1.mp4"  
  }

画像から動画へ (先頭フレームベース)

検証データセットには、先頭フレームの画像とアノテーションファイル (data.jsonl) が含まれます。動画は不要です。各評価ポイントで、トレーニングジョブは自動的にモデルサービスを呼び出し、検証画像とプロンプトを使用してプレビュー動画を生成します。

• サンプル検証データセット：wan-i2v-valid-dataset.zip。

• ZIP ディレクトリ構造：

  wan-i2v-valid-dataset.zip
  ├── data.jsonl       # data.jsonl という名前にする必要があります。最大サイズ：20 MB。
  ├── image_1.jpeg     # 最大解像度：4096×4096。フォーマット：BMP、JPEG、PNG、WEBP。
  └── image_2.jpeg

• アノテーションファイル (data.jsonl)：各行が 1 つの検証サンプルです。JSON オブジェクトである必要があります。構造：

  {
      "prompt": "The video begins showing a scene of a young man standing in front of a cityscape. He is wearing a black and white checkered jacket over a black hoodie, with a smile on his face and a confident expression. The background is a city skyline at sunset, with a famous domed building and layered roofs visible in the distance, the sky filled with clouds showing warm orange-yellow hues. Then the s86b5p money rain effect begins, countless huge-sized US dollar bills (beige background/dark green patterns) pour down like a torrential rain, densely hitting and surrounding him. The bills continue to fall while the camera slowly zooms in, he stretches his arms upward, neck slightly tilted back, expression surprised, completely immersed in this wild money rain.",
      "first_frame_path": "image_1.jpg"
  }

画像から動画へ (先頭および最終フレームベース)

検証データセットには、先頭フレームの画像、最終フレームの画像、およびアノテーションファイル (data.jsonl) が含まれます。動画は不要です。各評価ポイントで、トレーニングジョブは自動的にモデルサービスを呼び出し、検証画像とプロンプトを使用してプレビュー動画を生成します。

• サンプル検証データセット：wan-kf2v-valid-dataset.zip。

• ZIP ディレクトリ構造：

  wan-kf2v-valid-dataset.zip
  ├── data.jsonl                 # data.jsonl という名前にする必要があります。最大サイズ：20 MB。
  └── image/                     # 先頭フレームと最終フレームの画像。
      ├── image_1_first.jpg      # 最大解像度：4096×4096。フォーマット：BMP、JPEG、PNG、WEBP。
      └── image_1_last.jpg

• アノテーションファイル (data.jsonl)：各行が 1 つの検証サンプルです。JSON オブジェクトである必要があります。構造：

  {
      "prompt": "The video begins showing a scene of a young man standing in front of a cityscape. He is wearing a black and white checkered jacket over a black hoodie, with a smile on his face and a confident expression. The background is a city skyline at sunset, with a famous domed building and layered roofs visible in the distance, the sky filled with clouds showing warm orange-yellow hues. Then the s86b5p money rain effect begins, countless huge-sized US dollar bills (beige background/dark green patterns) pour down like a torrential rain, densely hitting and surrounding him. The bills continue to fall while the camera slowly zooms in, he stretches his arms upward, neck slightly tilted back, expression surprised, completely immersed in this wild money rain.",
      "first_frame_path": "image/image_1_first.jpg",
      "last_frame_path": "image/image_1_last.jpg",
  }