Alibaba Cloud Model Studio:動画生成モデルのファインチューニング

最初のフレームに基づく画像→動画

curl --location 'https://dashscope-intl.aliyuncs.com/api/v1/fine-tunes' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' \
--data '{
    "model":"wan2.6-i2v",
    "training_file_ids":[
        "<replace_with_training_dataset_file_id>"
    ],
    "training_type":"efficient_sft",
    "hyper_parameters":{
        "n_epochs":400,
        "batch_size":2,
        "learning_rate":2e-5,
        "split":0.9,
        "eval_epochs": 50,
        "max_pixels": 36864
    }
}'

最初および最後のフレームに基づく画像→動画

curl --location 'https://dashscope-intl.aliyuncs.com/api/v1/fine-tunes' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' \
--data '{
    "model":"wan2.2-kf2v-flash",
    "training_file_ids":[
        "<replace_with_training_dataset_file_id>"
    ],
    "training_type":"efficient_sft",
    "hyper_parameters":{
        "n_epochs":400,
        "batch_size":4,
        "learning_rate":2e-5,
        "split":0.9,
        "eval_epochs": 50,
        "max_pixels": 262144
    }
}'

最初のフレームに基づく画像→動画

curl --location 'https://dashscope-intl.aliyuncs.com/api/v1/deployments' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' \
--data '{
    "model_name": "<replace_with_model_name>",
    "aigc_config": {
        "use_input_prompt": false,
        "prompt": "画像の内容に基づいて動画の説明を提供します。説明には「Then the s86b5p money rain effect begins, countless huge-sized US dollar bills (beige background/dark green patterns) pour down like a torrential rain, densely hitting and surrounding her. The bills continue to fall, she/he stretches her/his arms upward, neck slightly tilted back, expression surprised, completely immersed in this wild money rain.」というフレーズを含める必要があります。\n出力テンプレート:\nThe video begins with a shot of [subject description]. [Environment description]. Then the s86b5p money rain effect begins, countless huge-sized US dollar bills (beige background/dark green patterns) pour down like a torrential rain, densely hitting and surrounding her. The bills continue to fall, she/he stretches her/his arms upward, neck slightly tilted back, expression surprised, completely immersed in this wild money rain.\n例:\nThe video begins showing a young woman standing in front of a brick wall covered with ivy. She has long, smooth reddish-brown hair, wearing a white sleeveless dress, a shiny silver necklace, and a smile on her face. The brick wall in the background is covered with green vines, appearing rustic and natural. Then the s86b5p money rain effect begins, countless huge-sized US dollar bills (beige background/dark green patterns) pour down like a torrential rain, densely hitting and surrounding her. The bills continue to fall, she stretches her arms upward, neck slightly tilted back, expression surprised, completely immersed in this wild money rain.",
        "lora_prompt_default": "Then the s86b5p money rain effect begins, countless huge-sized US dollar bills (beige background/dark green patterns) pour down like a torrential rain, densely hitting and surrounding her. The bills continue to fall, she/he stretches her/his arms upward, neck slightly tilted back, expression surprised, completely immersed in this wild money rain."
    },
    "capacity": 1,
    "plan": "lora"
}'

最初および最後のフレームに基づく画像→動画

curl --location 'https://dashscope-intl.aliyuncs.com/api/v1/deployments' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' \
--data '{
    "model_name": "<replace_with_model_name>",
    "aigc_config": {
        "use_input_prompt": false,
        "prompt": "画像の内容に基づいて動画の説明を提供します。説明には「Then she/he begins the s86b5p transformation.」というフレーズを含める必要があります。\n出力テンプレート:\nThe video begins with a shot of [subject description]. [Environment description]. Then she/he begins the s86b5p transformation.\n例:\nThe video begins with a young woman in an outdoor setting. She has short, curly dark brown hair and a friendly smile. She is wearing a black Polo shirt with colorful floral embroidery. The background features green vegetation and distant mountains. Then she begins the s86b5p transformation.",
        "lora_prompt_default": "Then she/he begins the s86b5p transformation."
    },
    "capacity": 1,
    "plan": "lora"
}'

最初のフレームに基づく画像→動画

トレーニングセットには、最初のフレーム画像、トレーニング動画、およびアノテーションファイル (data.jsonl) が含まれます。

• サンプルトレーニングセット： wan-i2v-training-dataset.zip。

• ZIP パッケージのディレクトリ構造：

  wan-i2v-training-dataset.zip
  ├── data.jsonl        # data.jsonl という名前にする必要があります。最大サイズは 20 MB
  ├── image_1.jpeg      # 最大画像解像度は 4096×4096。BMP、JPEG、PNG、WEBP 形式をサポート
  ├── video_1.mp4       # 最大動画解像度は 4096×4096。MP4、MOV 形式をサポート
  ├── image_2.jpeg
  └── video_2.mp4

• アノテーションファイル (data.jsonl)：各行はトレーニングデータのエントリを表し、JSON オブジェクトである必要があります。トレーニングデータエントリの構造は以下の通りです：

  {
      "prompt": "The video begins showing a young woman standing in front of a brick wall covered with ivy. She has long, smooth reddish-brown hair, wearing a white sleeveless dress, a shiny silver necklace, and a smile on her face. The brick wall in the background is covered with green vines, appearing rustic and natural. Then the s86b5p money rain effect begins, countless huge-sized US dollar bills (beige background/dark green patterns) pour down like a torrential rain, densely hitting and surrounding her. The bills continue to fall, she stretches her arms upward, neck slightly tilted back, expression surprised, completely immersed in this wild money rain.",
      "first_frame_path": "image_1.jpg",
      "video_path": "video_1.mp4"        
  }

最初および最後のフレームに基づく画像→動画

トレーニングセットには、最初のフレーム画像、最後のフレーム画像、トレーニング動画、およびアノテーションファイル (data.jsonl) が含まれます。

• サンプルトレーニングセット： wan-kf2v-training-dataset.zip。

• ZIP パッケージのディレクトリ構造：

  wan-kf2v-training-dataset.zip
  ├── data.jsonl                # data.jsonl という名前にする必要があります。最大サイズは 20 MB
  ├── image/                    # 最初および最後のフレーム画像を格納
  │   ├── image_1_first.jpg     # 最大画像解像度は 4096×4096。BMP、JPEG、PNG、WEBP 形式をサポート
  │   └── image_1_last.png
  └── video/                    # 「トレーニング対象」としての動画ファイルを格納
      ├── video_1.mp4           # 最大動画解像度は 4096×4096。MP4、MOV 形式をサポート
      └── video_2.mov

• アノテーションファイル (data.jsonl)：各行はトレーニングデータのエントリを表し、JSON オブジェクトである必要があります。トレーニングデータエントリの構造は以下の通りです：

  {
      "prompt": "The video begins by showing a young woman in an outdoor setting. She has short, curly dark brown hair, a smile on her face, and looks very friendly. She is wearing a black polo shirt with colorful floral embroidery, with a background of green vegetation and distant mountains. Then she begins the s86b5p transformation.",
      "first_frame_path": "image/image_1_first.jpg",
      "last_frame_path": "image/image_1_last.jpg", 
      "video_path": "video/video_1.mp4"  
  }

最初のフレームに基づく画像→動画

検証セットには、最初のフレーム画像およびアノテーションファイル (data.jsonl) が含まれます。動画は提供する必要はありません。各評価ノードで、トレーニングジョブは検証セットの画像およびプロンプトを使用して、モデルサービスを自動的に呼び出し、プレビュー動画を生成します。

• サンプル検証セット： wan-i2v-valid-dataset.zip。

• ZIP パッケージのディレクトリ構造：

  wan-i2v-valid-dataset.zip
  ├── data.jsonl       # data.jsonl という名前にする必要があります。最大サイズは 20 MB
  ├── image_1.jpeg     # 最大画像解像度は 4096×4096。BMP、JPEG、PNG、WEBP 形式をサポート
  └── image_2.jpeg

• アノテーションファイル (data.jsonl)：各行は検証データのエントリを表し、JSON オブジェクトである必要があります。検証データエントリの構造は以下の通りです：

  {
      "prompt": "The video begins showing a scene of a young man standing in front of a cityscape. He is wearing a black and white checkered jacket over a black hoodie, with a smile on his face and a confident expression. The background is a city skyline at sunset, with a famous domed building and layered roofs visible in the distance, the sky filled with clouds showing warm orange-yellow hues. Then the s86b5p money rain effect begins, countless huge-sized US dollar bills (beige background/dark green patterns) pour down like a torrential rain, densely hitting and surrounding him. The bills continue to fall while the camera slowly zooms in, he stretches his arms upward, neck slightly tilted back, expression surprised, completely immersed in this wild money rain.",
      "first_frame_path": "image_1.jpg"
  }

最初および最後のフレームに基づく画像→動画

検証セットには、最初のフレーム画像、最後のフレーム画像、およびアノテーションファイル (data.jsonl) が含まれます。動画は提供する必要はありません。各評価ノードで、トレーニングジョブは検証セットの画像およびプロンプトを使用して、モデルサービスを自動的に呼び出し、プレビュー動画を生成します。

• サンプル検証セット： wan-kf2v-valid-dataset.zip。

• ZIP パッケージのディレクトリ構造：

  wan-kf2v-valid-dataset.zip
  ├── data.jsonl                 # data.jsonl という名前にする必要があります。最大サイズは 20 MB
  └── image/                     # 最初および最後のフレーム画像を格納
      ├── image_1_first.jpg      # 最大画像解像度は 4096×4096。BMP、JPEG、PNG、WEBP 形式をサポート
      └── image_1_last.jpg

• アノテーションファイル (data.jsonl)：各行は検証データのエントリを表し、JSON オブジェクトである必要があります。検証データエントリの構造は以下の通りです：

  {
      "prompt": "The video begins showing a scene of a young man standing in front of a cityscape. He is wearing a black and white checkered jacket over a black hoodie, with a smile on his face and a confident expression. The background is a city skyline at sunset, with a famous domed building and layered roofs visible in the distance, the sky filled with clouds showing warm orange-yellow hues. Then the s86b5p money rain effect begins, countless huge-sized US dollar bills (beige background/dark green patterns) pour down like a torrential rain, densely hitting and surrounding him. The bills continue to fall while the camera slowly zooms in, he stretches his arms upward, neck slightly tilted back, expression surprised, completely immersed in this wild money rain.",
      "first_frame_path": "image/image_1_first.jpg",
      "last_frame_path": "image/image_1_last.jpg",
  }