Criar implantação - Alibaba Cloud Model Studio: Central de Documentação do Alibaba Cloud

Crie uma tarefa de implantação de modelo.

Pré-requisitos

Regiões: A API de implantação de modelos está disponível atualmente apenas na região de Singapura. Se você usar outra região, conclua a implantação do modelo no console do Model Studio dessa região.
Permissões da conta: Se você usar uma subconta do Alibaba Cloud (usuário RAM), deverá conceder à subconta permissões para invocação, treinamento e implantação de modelos.
Configurar variáveis de ambiente: Você obteve uma chave de API e a configurou como uma variável de ambiente.
Leia a documentação de implantação: Recomendamos que você leia primeiro Visão geral da implantação dedicada e Criar tarefas de implantação de modelos usando a API para entender como funciona a implantação de modelos e as etapas básicas.

Implantar um modelo

Singapura

POST https://dashscope-intl.aliyuncs.com/api/v1/deployments

No Windows CMD, substitua $DASHSCOPE_API_KEY por %DASHSCOPE_API_KEY%; no PowerShell, substitua-o por $env:DASHSCOPE_API_KEY.

Parâmetros da requisição

Cabeçalhos

Content-Type string (Obrigatório)

Valor fixo: application/json

Authorization string (Obrigatório)

Autenticação por chave de API. O formato é Bearer sk-xxxx.

Corpo da requisição

model_name string (Obrigatório)

O nome do modelo a ser implantado. Ele corresponde ao ID do modelo em Meus Modelos. Você também pode obtê-lo na saída da operação Criar uma Tarefa de Ajuste Fino.

plan string (Obrigatório)

O plano de implantação. Valores válidos:

mu: Faturamento por unidade de modelo.
lora: Implantação compartilhada LoRA (faturada por uso de tokens).
ptu: Faturamento por throughput provisionado.

deploy_spec string (Condicionalmente obrigatório)

O modelo de implantação. Obrigatório quando plan é mu. Exemplo: "deploy_spec": "MU1".

Você pode obtê-lo no campo template_id retornado pela operação Obter Lista de Modelos Implantáveis.

capacity integer (Condicionalmente obrigatório)

O número de unidades de recurso usadas pela implantação. O valor deve ser um múltiplo inteiro de base_capacity. As restrições variam conforme o deploy_spec: por exemplo, MU2 exige um múltiplo de 8, e MU5 aceita 1.

billing_method string (Condicionalmente obrigatório)

O método de faturamento. Obrigatório quando plan é mu. Atualmente, há suporte para "POST_PAY" (pós-pago).

enable_thinking boolean (Opcional)

Disponível apenas quando plan é mu. Compatível com alguns modelos. Você pode defini-lo como true ou false.

max_context_length number (Opcional)

Disponível apenas quando plan é mu. Compatível com alguns modelos. Exemplo: "max_context_length": 131072.

rpm_limit number (Opcional)

Disponível apenas quando plan é mu. Compatível com alguns modelos. Especifica o número de requisições por minuto (RPM).

tpm_limit number (Opcional)

Disponível apenas quando plan é mu. Compatível com alguns modelos. Especifica o número de tokens usados por minuto (TPM).

ptu_capacity object (Opcional)

Surte efeito apenas quando plan é ptu. Se você não especificar este parâmetro, o padrão será 10.000 input_tpm e 1.000 output_tpm.

Propriedades de ptu_capacity

input_tpm number

O número máximo de tokens de entrada por minuto suportado pelo modelo implantado.

output_tpm number

O número máximo de tokens de saída por minuto suportado pelo modelo implantado.

thinking_output_tpm number

Compatível com alguns modelos. O número máximo de tokens de saída de raciocínio provisionados por minuto suportado pelo modelo implantado.

name string (Opcional)

O nome de exibição do modelo no console. Se você não especificar este parâmetro, o valor de model_name será usado automaticamente como o nome da implantação.

suffix string (Opcional)

Depois que um modelo é implantado, um novo nome de modelo é gerado. suffix especifica o sufixo do novo nome de modelo, com comprimento máximo de 8 caracteres, e ele deve ser globalmente exclusivo. Você pode omitir o sufixo ao implantar um modelo pela primeira vez. Para implantar o mesmo modelo várias vezes, você deve especificar um sufixo para distinguir as implantações.

Faturamento por unidade de modelo

Com o faturamento por unidade de modelo, a cobrança é baseada na duração de uso das unidades de modelo. Ele é adequado para cargas de trabalho de inferência em grande escala após o ajuste fino do modelo, com recursos dedicados e desempenho e custo flexíveis.

Depois de executar o comando de implantação a seguir, o serviço de implantação de modelos começa a cobrar imediatamente após a implantação bem-sucedida, mesmo que você ainda não tenha invocado o modelo. Recomendamos confirmar as regras de faturamento do serviço antes de executar o comando de implantação.

curl "https://dashscope-intl.aliyuncs.com/api/v1/deployments" \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' \
--data '{
    "name": "my_qwen_plus",
    "model_name": "qwen-plus-2025-12-01",
    "plan": "mu",
    "deploy_spec": "MU1",
    "enable_thinking": true,
    "capacity": 4,
    "billing_method": "POST_PAY",
    "max_context_length": 10000,
    "rpm_limit": 500,
    "tpm_limit": 1000
}'

Faturamento por uso de tokens

Com o faturamento por uso de tokens, a cobrança é baseada no uso de tokens. Ele é adequado para cenários que buscam custo-benefício e têm requisitos baixos de concorrência e latência. Este modo oferece a melhor vantagem de preço, e o throughput/concorrência e a velocidade de geração são predefinidos pela plataforma e não podem ser ajustados.

curl "https://dashscope-intl.aliyuncs.com/api/v1/deployments" \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' \
--data '{
    "model_name": "qwen3-8b-ft-202511132025-0260",
    "plan": "lora",
    "capacity": 1,
    "name": "qwen3-8b-ft"
}'

Faturamento por throughput provisionado

Com o faturamento por throughput provisionado, a cobrança é baseada na duração de uso do throughput provisionado. Ele é adequado para cenários que exigem garantias estáveis de throughput, alta concorrência, baixa latência e tráfego previsível. Neste modo, o throughput/concorrência e a velocidade de geração são predefinidos pela plataforma e não podem ser ajustados.

Depois de executar o comando de implantação a seguir, o serviço de implantação de modelos começa a cobrar imediatamente após a implantação bem-sucedida, mesmo que você ainda não tenha invocado o modelo. Recomendamos confirmar as regras de faturamento do serviço antes de executar o comando de implantação.

curl "https://dashscope-intl.aliyuncs.com/api/v1/deployments" \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' \
--data '{
    "name": "my_qwen_flash",
    "model_name": "qwen-flash-2025-07-28",
    "plan": "ptu",
    "ptu_capacity": {
        "input_tpm": 10000,
        "output_tpm": 1000
    }
}'

Solução de problemas de implantação e ajuste de desempenho

O parâmetro max-num-seqs não é configurável

Para a implantação de modelos do Model Studio nos métodos de faturamento por throughput provisionado e faturamento por unidade de modelo, o throughput, a concorrência e a velocidade de geração são predefinidos pela plataforma. Parâmetros do mecanismo de inferência, como max-num-seqs dentro do vLLM, não podem ser ajustados diretamente, e não existe tal parâmetro nos parâmetros de requisição desta API.

No método de faturamento por unidade de modelo, você pode controlar o throughput indiretamente selecionando o tipo de unidade de modelo (o parâmetro de requisição deploy_spec) e ajustando a quantidade de réplicas da implantação (o parâmetro de requisição capacity).

Modelos de implantação e isolamento de recursos

Os modelos de implantação atuais suportam apenas a implantação em nó único (implantação em nó único - inferência geral aprimorada) e não suportam isolamento de instâncias com múltiplas placas. Se você precisar de isolamento de recursos, use o método de faturamento por unidade de modelo, no qual os recursos de computação são dedicados ao seu negócio.

Tratamento de erros de limitação

Quando as requisições simultâneas excedem o limite de taxa, a API retorna HTTP 429 com o código de erro Throttling.RateQuota e a mensagem de erro Requests rate limit exceeded, please try again later. Soluções:

Faturamento por throughput provisionado: ajuste input_tpm e output_tpm em ptu_capacity (correspondentes a Entrada kTPM e Saída kTPM no console), ou reduza a frequência de requisições. A política de excedente pode ser auto-overflow (mudança para pagamento por uso) ou apenas capacidade de PTU (requisições que excedem a capacidade retornam 429 diretamente).
Faturamento por unidade de modelo: ajuste rpm_limit e tpm_limit, ou reduza a frequência de requisições.

Ajuste do comprimento do contexto

No método de faturamento por unidade de modelo, você pode configurar o comprimento máximo de contexto com o parâmetro de requisição max_context_length. O valor varia de 1 a 262144 (o limite superior real depende das capacidades do modelo implantado). Este parâmetro limita o tamanho do contexto de cada requisição e, portanto, o uso de memória por requisição, o que ajuda a reduzir o risco de OOM.

Ao processar cargas de trabalho com um grande número de imagens, defina este parâmetro com base no tamanho das imagens e no número de imagens por requisição.

Parâmetros da resposta

request_id string

O identificador exclusivo da requisição.

output object

Os detalhes da tarefa.

Propriedades

deployed_model string

O identificador exclusivo do modelo implantado. Ele é usado para consultar o status da implantação e invocar o modelo.

model_name string

O nome do modelo.

status string

O status da implantação:

PENDING: A tarefa de implantação está sendo criada.
UPDATING: A tarefa de implantação está sendo atualizada.
RUNNING: A tarefa de implantação está em execução e o modelo implantado pode processar requisições normalmente.
STOPPED: A tarefa de implantação está interrompida e não há cobrança neste momento.
DELETING: A tarefa de implantação está sendo excluída.
FAILED: A tarefa de implantação falhou ao ser criada ou atualizada.

base_model string

O modelo base utilizado.

gmt_create string

O horário de criação da tarefa de implantação.

gmt_modified string

O horário de atualização da tarefa de implantação.

workspace_id string

O ID do workspace ao qual a chave de API do Model Studio pertence. Para mais informações, consulte Obter o ID do Workspace.

charge_type string

O modelo de pagamento. post_paid indica pós-pago.

creator string

O ID da conta do Alibaba Cloud do criador.

modifier string

O ID da conta do Alibaba Cloud do usuário que modificou a tarefa de implantação pela última vez.

plan string

O método de implantação.

base_capacity number

O número mínimo de unidades de recurso necessárias para executar o modelo base.

ready_capacity number

O número de unidades de recurso que estão prontas e podem processar requisições imediatamente.

model_unit_spec string

A especificação da unidade de modelo. Retornado apenas quando plan é mu.

enable_thinking boolean

Indica se o modo thinking está ativado. Retornado apenas quando plan é mu.

max_context_length number

O limite do comprimento máximo de contexto. Retornado apenas quando plan é mu.

rpm_limit number

O número de requisições por minuto. Retornado apenas quando plan é mu.

tpm_limit number

O número de tokens usados por minuto. Retornado apenas quando plan é mu.

ptu_capacity object

A configuração de throughput provisionado. Retornado apenas quando plan é ptu.

Propriedades de ptu_capacity

input_tpm number

O número máximo de tokens de entrada por minuto suportado pelo modelo implantado.

output_tpm number

O número máximo de tokens de saída por minuto suportado pelo modelo implantado.

thinking_output_tpm number

Compatível com alguns modelos. O número máximo de tokens de saída de raciocínio provisionados por minuto suportado pelo modelo implantado.

code string

O código de erro. Retornado quando a invocação falha.

message string

A descrição detalhada do erro. Retornado quando a invocação falha.

Exemplo de resposta bem-sucedida

Campos principais a observar: output.deployed_model (o identificador exclusivo do modelo implantado) e output.status (o status da implantação).

{
    "request_id": "f2ae64f7-83cc-410c-bc0b-840443f7eb86",
    "output": {
        "deployed_model": "qwen-plus-2025-12-01-mu-xxxx",
        "gmt_create": "2025-06-17T11:00:38.68",
        "gmt_modified": "2025-06-17T11:00:38.68",
        "status": "PENDING",
        "model_name": "qwen-plus-2025-12-01",
        "base_model": "qwen-plus",
        "model_unit_spec": "MU1",
        "enable_thinking": true,
        "max_context_length": 10000,
        "rpm_limit": 500,
        "tpm_limit": 1000,
        "base_capacity": 1,
        "ready_capacity": 0,
        "workspace_id": "llm-v71tlv3d***",
        "charge_type": "post_paid",
        "creator": "175805416***",
        "modifier": "175805416***",
        "plan": "mu"
    }
}

Exemplo de resposta de erro

{
    "code": "InvalidParameter",
    "request_id": "BE213CDD-8A5C-59EE-9A67-055EAB0CB59B",
    "message": "The model xxx does not exist or is not deployable"
}

Próximas etapas

A implantação é uma operação assíncrona. Depois de chamar esta API, você pode consultar o status da implantação usando a operação Consultar e gerenciar implantações.