Alibaba Cloud Model Studio:Roteamento de Modelos

O Roteamento Inteligente de Modelos analisa dinamicamente o conteúdo da solicitação e seleciona automaticamente o modelo mais adequado do conjunto candidato, ajudando as empresas a alcançar a alocação ideal de recursos de IA em cenários complexos.

Visão geral

O model-code tem um prefixo fixo auto-model seguido por 8 caracteres aleatórios (por exemplo, auto-model-abcd1234). O cliente chama este model-code → o roteamento analisa dinamicamente o conteúdo da solicitação e corresponde ao modelo mais adequado do conjunto de candidatos → o modelo real faz a inferência → resposta (x-dashscope-resolved-model marca o modelo real, retém o uso real de tokens).

Escopo:

Principais vantagens:

• Maximizar a eficácia do modelo: Corresponde automaticamente ao modelo ideal para cada tarefa, ideal para usuários com requisitos extremos de qualidade.
• Redução precisa de custos: Roteia tarefas simples para modelos leves e tarefas complexas para modelos avançados, evitando provisionamento excessivo e alcançando um alinhamento preciso entre custo e demanda.
• Eliminar a dificuldade de seleção de modelos: Não há necessidade de avaliação ou comparação manual de modelos; a plataforma seleciona automaticamente a solução ideal, reduzindo drasticamente a barreira de seleção de modelos.
• Curva de aprendizado mínima: Consistente com o acesso regular ao modelo; invoque via model-code sem alterações de código.

Criar um roteador de modelos

No console do Bailian, em "Model Inference > Dedicated Deployment", clique em Deploy New Model para entrar na página de criação e selecione Roteamento Inteligente em "Deployment Mode".

Pré-requisitos

• Um workspace do Bailian está ativado.
• A versão do modelo de rota alvo está publicada e a conta atual possui permissão de invocação para a versão e para os modelos candidatos.

Etapas

1. Insira um Nome do Serviço (obrigatório, até 50 caracteres).
2. Em Deployment Mode, selecione "Roteamento Inteligente".
3. Em Versão do Modelo de Rota, selecione uma versão publicada (mantida pela plataforma).
4. Em Estratégia de roteamento, selecione "Effect First" ou "Cost First".
5. Em Conjunto de Modelos Candidatos, selecione os modelos candidatos (pelo menos 2).
6. Clique em Confirm Deploy para concluir a criação.

Após a implantação, o sistema gera um model-code globalmente único (no formato auto-model-XXXXXXXX). O model-code não é reutilizado após a exclusão.

Estratégia de roteamento

A estratégia de roteamento determina qual modelo no conjunto de candidatos executa cada solicitação. Ambas as estratégias correspondem dinamicamente pelo conteúdo da solicitação (não é um roteamento fixo); a escolha é feita na criação.

Configuração do modelo candidato

O conjunto de modelos candidatos é o intervalo que o serviço de roteamento pode escolher. Ao criar um roteador de modelos, selecione os modelos para participar do roteamento na lista de candidatos na área Conjunto de Modelos Candidatos — pelo menos 2 modelos candidatos são necessários, caso contrário, a implantação será bloqueada.

A versão do modelo de rota é a forma de lançamento padronizada da capacidade de roteamento inteligente; cada versão especifica o intervalo de modelos e as capacidades principais suportadas pelo sistema de roteamento para aquele estágio. A lista de candidatos é determinada pela versão do modelo de rota selecionada — cada versão corresponde a um conjunto de candidatos; combinações entre versões não são permitidas. A versão do modelo de rota atualmente publicada e os modelos candidatos:

A tabela lista os preços de invocação dos modelos candidatos (USD por milhão de tokens). A série deepseek-v4 usa preços baseados em horários de pico/fora do pico. Todos os modelos candidatos suportam o modo de pensamento; tokens de pensamento são cobrados pelo preço de saída.

Invocar um roteador de modelos

Uma vez criado, chamar um roteador de modelos é igual a chamar um modelo comum — basta substituir o parâmetro model na solicitação pelo model-code do roteador (por exemplo, auto-model-abcd1234); o cliente pode integrar sem alterações de código.

Exemplo de chamada:

curl -X POST https://dashscope-intl.aliyuncs.com/compatible-mode/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto-model-abcd1234",
    "messages": [{"role": "user", "content": "Hello"}]
  }'

from openai import OpenAI

client = OpenAI(
    api_key="YOUR_DASHSCOPE_API_KEY",
    base_url="https://dashscope-intl.aliyuncs.com/compatible-mode/v1",
)
resp = client.chat.completions.create(
    model="auto-model-abcd1234",
    messages=[{"role": "user", "content": "Hello"}],
)
print(resp.choices[0].message.content)
print(resp.model)  # the actual executing model name

# DashScope SDK (instale primeiro: pip install dashscope)
# O roteamento inteligente suporta apenas o domínio maas.aliyuncs.com; passe o workspace e a region para o construtor do Client
import dashscope

# O roteamento inteligente suporta apenas o domínio maas.aliyuncs.com. Substitua {WorkspaceId} pelo ID real do seu workspace; o valor de region varia conforme a região.
client = dashscope.Client(
    api_key="YOUR_DASHSCOPE_API_KEY",
    workspace="{WorkspaceId}",
    region="ap-southeast-1",
)
resp = client.chat.completions.create(
    model="auto-model-abcd1234",
    messages=[{"role": "user", "content": "Hello"}],
)
print(resp.choices[0].message.content)

// OpenAI SDK (install first: npm install openai)

const OpenAI = require("openai");

const client = new OpenAI({
  apiKey: process.env.DASHSCOPE_API_KEY,
  baseURL: "https://dashscope-intl.aliyuncs.com/compatible-mode/v1",
});
const resp = await client.chat.completions.create({
  model: "auto-model-abcd1234",
  messages: [{ role: "user", content: "Hello" }],
});
console.log(resp.choices[0].message.content);
console.log(resp.model); // the actual executing model name

Resposta: o cabeçalho de resposta x-dashscope-resolved-model contém o identificador do modelo realmente chamado (use-o para verificar se o roteamento teve efeito); o corpo mantém o nome do modelo executor real e o uso real de tokens, e o faturamento é feito pelo modelo realmente roteado.

Faturamento: O roteamento inteligente cobra pelo modelo real para o qual cada solicitação é roteada; o próprio modelo de roteamento é gratuito.

Failover automático

O Roteamento de Modelos possui um auto-failover integrado, habilitado por padrão sem necessidade de configuração. Quando o modelo alvo está indisponível, o serviço de roteamento reenvia toda a solicitação com outro modelo candidato, sem trocar durante a inferência.

Os seguintes erros NÃO acionam o auto-failover; os erros são repassados com as informações originais de erro do modelo real:

• 429 (limite de taxa)
• 400/403/404/500 e outros erros determinísticos (a troca de modelos provavelmente também falharia)
• Erros de tempo limite ou de rede
• Erros após o streaming começar a retornar conteúdo

Regras de filtragem em tempo real

O serviço de roteamento aplica filtragem em tempo real ao conjunto de candidatos:

• Filtra modelos que a conta atual não tem permissão para invocar.
• Filtra modelos que estão offline.
• Filtra modelos incompatíveis com os parâmetros da solicitação atual (por exemplo, se a solicitação contiver response_format, apenas modelos candidatos que suportam esse parâmetro serão roteados).

O subconjunto realmente selecionável para uma única solicitação muda dinamicamente conforme as permissões, o estado do modelo e os parâmetros da solicitação.

Limites de uso

Suporte a protocolos:

Observações sobre parâmetros

• response_format: Roteia apenas para modelos candidatos que suportam este parâmetro.
• enable_search: Roteia apenas para modelos candidatos que suportam este parâmetro.
• reasoning_effort: Roteia apenas para modelos candidatos que suportam este parâmetro por padrão; valores enum suportados: none, minimal, low, medium, high, xhigh, max; níveis não mínimos roteiam apenas para modelos sem pensamento.
• enable_thinking: Roteia apenas para modelos candidatos que suportam o modo de pensamento.

No modo de roteamento inteligente, os seguintes parâmetros não são suportados; defini-los causa um erro de tempo de execução:

Cache

O roteamento inteligente não suporta cache explícito; ele suporta apenas o cache implícito fornecido pelo modelo real chamado. Cache só é atingido quando uma solicitação é roteada para o mesmo modelo e o prefixo do prompt atende às condições de cache desse modelo. Como diferentes solicitações podem ser roteadas para diferentes modelos, o roteamento inteligente não garante a taxa de acerto de cache. Para detalhes sobre como o cache funciona e os modelos suportados, consulte Cache de Contexto.

Gerenciar serviço de rota

Ver detalhes

Após a implantação, clique no nome do serviço na lista de Dedicated Deployment para entrar na página de detalhes:

• Informações básicas: nome do serviço, model-code, status de execução, tag de estratégia de roteamento.
• Configuração da rota: versão do modelo de rota, estratégia de roteamento, conjunto de candidatos e lista de modelos candidatos.
• Faturamento: pagamento conforme o uso, cobrado pelo preço unitário do modelo real.
• Configuração de implantação: cota de limitação TPM/RPM de cada modelo candidato.

Modificar configuração de rota

Clique em "Editar" na área de Configuração da Rota para modificar a versão da rota, a estratégia e os modelos candidatos. A troca de versão altera o conjunto de candidatos, entrando em vigor em alguns minutos sem afetar solicitações ativas.

Após selecionar uma versão específica, o comportamento de roteamento online permanece estável a longo prazo; realize uma avaliação completa antes de atualizar para evitar impactos nos negócios. Versão atual: model-router-2026-0908. As versões de rota não são atualizadas automaticamente.

Excluir serviço

Exclui o serviço de roteamento de modelos da lista de Implantação Dedicada. model-code não é reutilizado após a exclusão.

Efeito do roteamento

Este capítulo aborda métricas de efeito de roteamento e monitoramento. As métricas de efeito são visualizadas na aba "Efeito do roteamento" da página de detalhes; o monitoramento de chamadas é visualizado na página de Model Monitoring.

Métricas de roteamento

Visualize as seguintes métricas na aba "Efeito do roteamento" da página de detalhes. As métricas exibidas são estimativas, apenas para referência; não servem para liquidação de faturamento; o faturamento real baseia-se em "Cost and Usage":

Notas sobre custos

Os dados de análise de custos têm um atraso aproximado de 1 hora e não são em tempo real. Os custos acima são todos estimados pelo preço de catálogo como custo total, excluindo descontos da conta e cotas gratuitas, apenas para referência na avaliação das economias de roteamento. Modelos com faturamento escalonado usam o preço de catálogo do nível mais baixo; modelos com precificação pico-vale usam preços de pico. O faturamento real pode ser visualizado em "Custos e Uso".

Monitoramento de modelos

Para um monitoramento de chamadas mais granular, acesse a página de Monitoramento de Modelos. Ela mostra o monitoramento e logs de modelos na dimensão auto-model, não o monitoramento individual dos modelos realmente roteados.