Alibaba Cloud Model Studio:Fine-tune image generation models

curl --location --request POST 'https://dashscope-intl.aliyuncs.com/compatible-mode/v1/files' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--form 'file=@"./wan-image-t2i-training-dataset.zip"' \
--form 'purpose="fine-tune"'

Salve o id. Este é o identificador exclusivo do conjunto de dados carregado.

{
    "id": "file-ft-3c67043a747c-xxxxxx",
    "object": "file",
    "bytes": 73310369,
    "filename": "wan-image-t2i-training-dataset.zip",
    "purpose": "fine-tune",
    "status": "processed",
    "created_at": 1782271893
}

Etapa 2.1: Criar um job de ajuste fino

Use o ID do arquivo obtido na Etapa 1 para iniciar um job de treinamento.

Exemplo de solicitação

Substitua <replace_with_training_dataset_file_id> pelo id obtido na etapa anterior. Para a referência completa de parâmetros e restrições de formato, consulte Hiperparâmetros.

curl --location 'https://dashscope-intl.aliyuncs.com/api/v1/fine-tunes' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' \
--data '{
    "model": "wan2.7-image-pro",
    "training_datasets": [
        {
            "data_source_type": "file_id",
            "file_id": "<replace_with_training_dataset_file_id>"
        }
    ],
    "training_type": "efficient_sft",
    "hyper_parameters": {
        "learning_rate": 3e-5,
        "max_steps": 800,
        "eval_steps": 200,
        "max_token_length": "1k",
        "gradient_clip": 0.5,
        "weight_decay": 0.02,
        "max_pixels": "1k",
        "val_img_size": "1k",
        "generation_type": "t2i",
        "lora_rank": 32,
        "save_total_limit": 10
    }
}'

Exemplo de resposta

Observe três parâmetros principais no campo output:

• job_id: O ID do job, usado para consultar o progresso.

• finetuned_output: O nome do modelo ajustado. Use este nome para implantação e invocação subsequentes.

• status: O status do treinamento. Após criar um job de ajuste fino, o status inicial é PENDING, indicando que o treinamento ainda não começou.

{
    ...
    "output": {
        "job_id": "ft-202511111122-xxxx",
        "status": "PENDING",
        "finetuned_output": "xxxx-ft-202511111122-xxxx",
        ...
    }
}

Etapa 2.2: Consultar o status do job de ajuste fino

Use o job_id obtido na Etapa 2.1 para consultar o progresso do job. Faça polling da seguinte API até que o status mude para SUCCEEDED.

Exemplo de solicitação

Substitua <replace_with_fine_tuning_job_id> na URL pelo valor de job_id.

curl --location 'https://dashscope-intl.aliyuncs.com/api/v1/fine-tunes/<replace_with_fine_tuning_job_id>' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json'

Exemplo de resposta

Observe dois parâmetros no campo output:

• status: Quando o valor mudar para SUCCEEDED, o treinamento do modelo estará concluído e você poderá prosseguir com a implantação.

• usage: O número total de tokens consumidos durante o treinamento do modelo, usado para fins de faturamento.

{
    ...
    "output": {
        "job_id": "ft-202511111122-xxxx",
        "status": "SUCCEEDED",
        "usage": 432000,
        ...
    }
}

Etapa 3.1: Implantar o modelo como um service online

Depois que o status do job de ajuste fino mudar para SUCCEEDED, implante o modelo como um service online.

Exemplo de solicitação

Substitua <replace_with_model_name> pelo valor de finetuned_output obtido na saída de Criar um job de ajuste fino.

curl --location 'https://dashscope-intl.aliyuncs.com/api/v1/deployments' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' \
--data '{
    "model_name": "<replace_with_model_name>",
    "capacity": 1,
    "plan": "lora"
}'

Exemplo de resposta

Observe dois parâmetros no campo output:

• deployed_model: O nome do modelo implantado, usado para consultar o status da implantação e invocar o modelo.

• status: O status da implantação do modelo. Após implantar o modelo ajustado, o status inicial é PENDING, indicando que a implantação ainda não começou.

{
    ...
    "output": {
        "deployed_model": "wan2.7-image-pro-xxxxxxxxxxxx",
        "status": "PENDING",
        ...
    }
}

Etapa 3.2: Consultar o status da implantação

Consulte o status da implantação. Faça polling da seguinte API até que o status mude para RUNNING.

Exemplo de solicitação

Substitua <replace_with_deployed_model> pelo valor de deployed_model obtido na saída da Etapa 3.1.

curl --location 'https://dashscope-intl.aliyuncs.com/api/v1/deployments/<replace_with_deployed_model>' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' 

Exemplo de resposta

Observe dois parâmetros no campo output:

• status: Quando o status mudar para RUNNING, o modelo foi implantado com sucesso e você pode começar a invocá-lo.

• deployed_model: O nome do modelo implantado.

{
    ...
    "output": {
        "status": "RUNNING",
        "deployed_model": "wan2.7-image-pro-xxxxxxxxxxxx",
        ...
    }
}

Conjunto de treinamento: Obrigatório

Conjunto de validação: Opcional

1. Determinar o cenário de ajuste fino

O Wan suporta os seguintes cenários de ajuste fino para geração de imagens:

• Estilização de personagem de IP: Treine o modelo para aprender o estilo de desenho de um personagem de IP específico, como personagens de anime ou imagens de mascotes.

• Estilo visual fixo: Melhore a capacidade do modelo de reproduzir um estilo de arte específico, como ilustração flat, pintura a tinta ou pixel art.

• Geração de cena específica: Replique padrões de composição específicos ou modelos de cena, como imagens de exibição de produtos ou layouts de pôsteres.

2. Obter materiais brutos

• Geração e seleção por IA: Use o modelo base Wan para gerar imagens em massa e selecione manualmente as amostras de alta qualidade que melhor correspondem ao efeito desejado. Este é o método mais utilizado.

• Fotografia real: Se o objetivo for alcançar cenas altamente realistas (como fotos reais de produtos ou retratos), o uso de filmagens reais é a melhor escolha.

• Renderização em software 3D: Para cenas que exigem controle fino de detalhes ou estilos de renderização 3D, recomendamos o uso de softwares 3D (como Blender ou C4D) para criar materiais de origem.

3. Limpar os dados

Fórmula de escrita de prompt

Prompt = [Descrição do assunto] + [Descrição do fundo] + [Palavra-gatilho] + [Descrição do estilo]

Durante o treinamento, o sistema salva periodicamente "snapshots" do modelo (ou seja, checkpoints). Por padrão, o sistema produz o último checkpoint como o modelo final ajustado. No entanto, checkpoints produzidos em estágios intermediários podem ter um desempenho melhor do que a versão final. Selecione aquele que considerar mais satisfatório para implantação.

O sistema executa checkpoints no conjunto de validação e gera imagens de pré-visualização em intervalos definidos pelos Hiperparâmetros (hyper_parameters) eval_steps.

• Como avaliar: Julgue os resultados observando diretamente as imagens de pré-visualização geradas.

• Critérios de seleção: Encontre o checkpoint com os melhores resultados e o estilo mais próximo do desejado.

Procedimento

curl --location 'https://dashscope.aliyuncs.com/api/v1/fine-tunes/<replace_with_fine_tuning_job_id>/validation-results' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' 

{
    "request_id": "da1310f5-5a21-4e29-99d4-xxxxxx",
    "output": [
        {
            "checkpoint": "checkpoint-160"
        },
        ...
    ]
}

curl --location 'https://dashscope-intl.aliyuncs.com/api/v1/fine-tunes/<replace_with_fine_tuning_job_id>/validation-details/<replace_with_checkpoint_to_export>?page_no=1&page_size=10' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY"

{
    "request_id": "375b3ad0-d3fa-451f-b629-xxxxxxx",
    "output": {
        "page_no": 1,
        "page_size": 10,
        "total": 5,
        "list": [
            {
                "img_path": "https://finetune-result.oss-cn-wulanchabu.aliyuncs.com/xxx.png?Expires=xxxxxx",
                "prompt": "s86b5p, Change the background to an elevator equipped with a white ceiling lighting, featuring large floor-to-ceiling windows. Change the character's clothing to red tight-fitting mech armor with black stripe decorations.",
                "input_img": "https://finetune-result.oss-cn-wulanchabu.aliyuncs.com/val_dataset/input_001.png?Expires=xxxxxx"
            },
            ...
        ]
    }
}

curl --location 'https://dashscope-intl.aliyuncs.com/api/v1/fine-tunes/<replace_with_fine_tuning_job_id>/export/<replace_with_checkpoint_to_export>?model_name=<replace_with_exported_model_display_name>' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY"

{
    "request_id": "0817d1ed-b6b6-4383-9650-xxxxx",
    "output": true
}

curl --location 'https://dashscope-intl.aliyuncs.com/api/v1/fine-tunes/<replace_with_fine_tuning_job_id>/checkpoints' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY"

{
    "request_id": "b0e33c6e-404b-4524-87ac-xxxxxx",
    "output": [
         ...,
        {
            "create_time": "2025-11-11T13:27:29",
            "full_name": "ft-202511111122-496e:checkpoint-160",
            "job_id": "ft-202511111122-496e",
            "checkpoint": "checkpoint-160",
            "model_name": "xxxx-ft-202511111122-xxxx-c160", // Important field, used for model deployment and invocation
            "model_display_name": "xxxx-ft-202511111122-xxxx",
            "status": "SUCCEEDED" // Successfully exported checkpoint
        },
        ...

    ]
}