Alibaba Cloud Model Studio:Fine-tuning video generation models

{
    "id": "file-ft-b2416bacc4d742xxxx",
    "object": "file",
    "bytes": 73310369,
    "filename": "wan-i2v-training-dataset.zip",
    "purpose": "fine-tune",
    "status": "processed",
    "created_at": 1766127125
}

{
    ...
    "output": {
        "job_id": "ft-202511111122-xxxx",
        "status": "PENDING",
        "finetuned_output": "xxxx-ft-202511111122-xxxx",
        ...
    }
}

curl --location 'https://dashscope-intl.aliyuncs.com/api/v1/fine-tunes/<your-job-id>' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json'

{
    ...
    "output": {
        "job_id": "ft-202511111122-xxxx",
        "status": "SUCCEEDED",
        "usage": 432000,
        ...
    }
}

{
    ...
    "output": {
        "deployed_model": "xxxx-ft-202511111122-xxxx",
        "status": "PENDING",
        ...
    }
}

{
    ...
    "output": {
        "status": "RUNNING",
        "deployed_model": "xxxx-ft-202511111122-xxxx",
        ...
    }
}

Seguir regras de consistência para descrições de efeitos

Para todas as amostras que contenham o mesmo efeito, mantenha a parte da descrição do movimento o mais consistente possível. Aplique esta regra tanto aos conjuntos de treinamento quanto aos de validação.

• Propósito: Quando o modelo vê s86b5p seguido pela mesma descrição fixa e sempre vê chuva de dinheiro, ele aprende que s86b5p = efeito visual de chuva de dinheiro.

• Exemplo: Seja o sujeito uma "jovem mulher" ou um "homem de terno", o prompt termina da mesma maneira para o efeito de chuva de dinheiro: “...then the s86b5p money rain effect begins, countless US dollar bills pour down like a torrential rain...”

  Tipo de amostra	Conteúdo do prompt (Observe a consistência nas partes sublinhadas)
  Amostra de treinamento 1	The video begins with a young woman standing in front of a brick wall... (descrição do ambiente omitida)... Then the s86b5p money rain effect begins, countless huge-sized US dollar bills (beige background/dark green patterns) pour down like a torrential rain, densely hitting and surrounding her. The bills continue to fall, she stretches her arms upward, neck slightly tilted back, expression surprised, completely immersed in this wild money rain.
  Amostra de treinamento 2	The video begins with a man in a suit in a high-end restaurant... (descrição do ambiente omitida)... Then the s86b5p money rain effect begins, countless huge-sized US dollar bills (beige background/dark green patterns) pour down like a torrential rain, densely hitting and surrounding him. The bills continue to fall, he stretches his arms upward, neck slightly tilted back, expression surprised, completely immersed in this wild money rain.
  Amostra de validação 1	The video begins with a young child standing in front of a cityscape... (descrição do ambiente omitida)... Then the s86b5p money rain effect begins, countless huge-sized US dollar bills (beige background/dark green patterns) pour down like a torrential rain, densely hitting and surrounding him. The bills continue to fall while the camera slowly zooms in, he stretches his arms upward, neck slightly tilted back, expression surprised, completely immersed in this wild money rain.

1. Utilizar IA para gerar descrições iniciais

   1. Brainstorming de forma livre (encontrar inspiração): Se você não tem certeza de como descrever o efeito, deixe a IA explorar livremente.

      • Envie “Describe the video content in detail” e observe a saída do modelo.

      • Concentre-se nos termos que o modelo usa para trajetória de movimento (por exemplo, “pour down like a torrential rain”, “camera slowly zooms in”). Estes termos podem ser usados para otimização posterior.

   2. Prompting de formato fixo (padronizar saída): Assim que tiver uma ideia geral, crie um formato fixo para guiar a IA a gerar prompts que correspondam ao seu modelo.

      Código de exemplo

      Consulte compreensão visual para detalhes sobre chamadas de API.

      import os
      from openai import OpenAI
      
      client = OpenAI(
          # API keys differ between Beijing and Singapore regions. Get your API key: https://www.alibabacloud.com/help/zh/model-studio/get-api-key
          # If you haven’t set environment variables, replace the next line with: api_key="sk-xxx".
          api_key=os.getenv("DASHSCOPE_API_KEY"),
          # Base URL for Singapore region. For Beijing region, replace with: https://dashscope.aliyuncs.com/compatible-mode/v1
          base_url="https://dashscope-intl.aliyuncs.com/compatible-mode/v1",
      )
      completion = client.chat.completions.create(
          model="qwen3-vl-plus",
          messages=[
              {"role": "user","content": [{
                  # When passing a video file directly, set type to video_url.
                  # With OpenAI SDK, frames are sampled every 0.5 seconds by default and cannot be changed. For custom frame rates, use DashScope SDK.
                  "type": "video_url",            
                  "video_url": {"url": "https://cloud.video.taobao.com/vod/Tm1s_RpnvdXfarR12RekQtR66lbYXj1uziPzMmJoPmI.mp4"}},
                  {"type": "text", "text": "Analyze the video carefully and generate a detailed video description using the following fixed format:"
                                          "Format template: The video begins with [subject description]. The background is [background description]. Then the s86b5p melting effect begins, [detailed motion description]."
                                          "Requirements:"
                                          "1.[Subject description]: Describe people or objects in the frame in detail, including appearance, clothing, and expressions."
                                          "2.[Background description]: Describe the environment, lighting, and weather in detail."
                                          "3.[Motion description]: Describe dynamic changes during the effect (e.g., how objects move, how lighting changes, how the camera moves)."
                                          "4.Integrate all content naturally into the format. Do not keep “[ ]” symbols or add unrelated text."}]
               }]
      )
      print(completion.choices[0].message.content)

2. Extrair modelos de efeitos

   1. Execute o processo várias vezes em amostras com o mesmo efeito. Identifique frases precisas e de alta frequência usadas para descrever o efeito. Extraia uma "descrição de efeito" genérica.

   2. Copie e cole esta descrição de efeito padronizada em todas as amostras para esse efeito.

   3. Mantenha descrições únicas de "sujeito" e "fundo" para cada amostra. Substitua apenas a parte da "descrição de efeito" pelo modelo unificado.

3. Revisão manual

   A IA pode alucinar ou cometer erros de detecção. Como etapa final, realize uma verificação manual. Por exemplo, confirme se as descrições da entidade e do fundo correspondem à cena real.

Durante o treinamento, o sistema salva "snapshots" periódicos (checkpoints). Por padrão, o sistema gera o checkpoint final como o modelo ajustado. Mas checkpoints intermediários podem superar a versão final. Você pode escolher o melhor para implantação.

O sistema executa checkpoints no conjunto de validação e gera vídeos de pré-visualização em intervalos definidos pelo hiperparâmetro eval_epochs.

• Avaliação: Julgue assistindo aos vídeos de pré-visualização diretamente.

• Critérios de seleção: Escolha o checkpoint com a melhor qualidade visual e sem distorção de movimento.

Procedimento

curl --location 'https://dashscope-intl.aliyuncs.com/api/v1/fine-tunes/<replace_with_fine-tuning_job_id>/validation-results' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' 

{
    "request_id": "da1310f5-5a21-4e29-99d4-xxxxxx",
    "output": [
        {
            "checkpoint": "checkpoint-160"
        },
        ...
    ]
}

curl --location 'https://dashscope-intl.aliyuncs.com/api/v1/fine-tunes/<replace_with_fine-tuning_job_id>/validation-details/<replace_with_selected_checkpoint>?page_no=1&page_size=10' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY"

{
    "request_id": "375b3ad0-d3fa-451f-b629-xxxxxxx",
    "output": {
        "page_no": 1,
        "page_size": 10,
        "total": 1,
        "list": [
            {
                "video_path": "https://finetune-result.oss-cn-wulanchabu.aliyuncs.com/xxx.mp4?Expires=xxxx",
                "prompt": "The video begins with a young man sitting in a cafe...",
                "first_frame_path": "https://finetune-result.oss-cn-wulanchabu.aliyuncs.com/xxx.jpeg"
            }
        ]
    }
}

curl --location 'https://dashscope-intl.aliyuncs.com/api/v1/fine-tunes/<replace_with_fine-tuning_job_id>/export/<replace_with_checkpoint_to_export>?model_name=<replace_with_exported_model_name_for_console_display>' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY"

{
    "request_id": "0817d1ed-b6b6-4383-9650-xxxxx",
    "output": true
}

curl --location 'https://dashscope-intl.aliyuncs.com/api/v1/fine-tunes/<replace_with_fine-tuning_job_id>/checkpoints' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY"

{
    "request_id": "b0e33c6e-404b-4524-87ac-xxxxxx",
    "output": [
         ...,
        {
            "create_time": "2025-11-11T13:27:29",
            "full_name": "ft-202511111122-496e-checkpoint-160",
            "job_id": "ft-202511111122-496e",
            "checkpoint": "checkpoint-160",                             
            "model_name": "xxxx-ft-202511111122-xxxx-c160", // Important field. Use for model deployment and calls.
            "model_display_name": "xxxx-ft-202511111122-xxxx", 
            "status": "SUCCEEDED" // Successfully exported checkpoint.
        },
        ...
        
    ]
}