Alibaba Cloud Model Studio:Enrutamiento de modelos

El Enrutamiento Inteligente de Modelos analiza dinámicamente el contenido de la solicitud y selecciona automáticamente el modelo más adecuado del conjunto de candidatos, ayudando a las empresas a lograr una asignación óptima de recursos de IA en escenarios complejos.

Descripción general

El model-code tiene un prefijo fijo auto-model seguido de 8 caracteres aleatorios (por ejemplo, auto-model-abcd1234). El cliente invoca este model-code → el enrutamiento analiza dinámicamente el contenido de la solicitud y empareja el modelo más adecuado del conjunto de candidatos → el modelo real infiere → respuesta (x-dashscope-resolved-model marca el modelo real, conserva el uso real de tokens).

Alcance:

Ventajas clave:

• Maximizar la eficacia del modelo: Empareja automáticamente el modelo óptimo para cada tarea, ideal para usuarios con requisitos de calidad extremos.
• Reducción precisa de costos: Enruta tareas simples a modelos ligeros y tareas complejas a modelos de gama alta, evitando el aprovisionamiento excesivo y logrando una alineación precisa entre costo y demanda.
• Eliminar la dificultad de selección de modelos: No es necesario evaluar o comparar modelos manualmente; la plataforma selecciona automáticamente la solución óptima, reduciendo drásticamente la barrera de selección de modelos.
• Curva de aprendizaje mínima: Consistente con el acceso regular a modelos; invoque mediante model-code sin cambios en el código.

Crear un enrutador de modelos

En la consola de Bailian, en "Model Inference > Dedicated Deployment", haga clic en Deploy New Model para ingresar a la página de creación y seleccione Intelligent Model Routing en "Deployment Mode".

Requisitos previos

• Se ha activado un espacio de trabajo de Bailian.
• La versión del modelo de ruta objetivo está publicada y la cuenta actual tiene permiso de invocación para la versión y los modelos candidatos.

Pasos

1. Ingrese un Nombre del servicio (obligatorio, hasta 50 caracteres).
2. En Modo de implementación, seleccione "Intelligent Model Routing".
3. En Versión del modelo de ruta, seleccione una versión publicada (mantenida por la plataforma).
4. En Estrategia de enrutamiento, seleccione "Effect First" o "Cost First".
5. En Conjunto de modelos candidatos, seleccione los modelos candidatos (al menos 2).
6. Haga clic en Confirm Deploy para completar la creación.

Después de la implementación, el sistema genera un model-code globalmente único (en formato auto-model-XXXXXXXX). El model-code no se reutiliza después de la eliminación.

Estrategia de enrutamiento

La estrategia de enrutamiento determina qué modelo del conjunto de candidatos ejecuta cada solicitud. Ambas estrategias emparejan dinámicamente según el contenido de la solicitud (no es un enrutamiento fijo); la elección se realiza durante la creación.

Configuración de modelos candidatos

El conjunto de modelos candidatos es el rango del cual puede elegir el servicio de enrutamiento. Al crear un enrutador de modelos, seleccione los modelos que participarán en el enrutamiento de la lista de candidatos en el área Candidate Model Set; se requieren al menos 2 modelos candidatos, de lo contrario se bloqueará la implementación.

La versión del modelo de enrutamiento es la forma de lanzamiento estandarizada de la capacidad de enrutamiento inteligente; cada versión especifica el rango de modelos y las capacidades principales admitidas por el sistema de enrutamiento para esa etapa. La lista de candidatos se determina según la versión del modelo de enrutamiento seleccionada: cada versión corresponde a un conjunto de candidatos y no se permite la combinación entre versiones. La versión del modelo de enrutamiento publicada actualmente y los modelos candidatos son:

Unidad de precio: CNY por millón de tokens. La serie deepseek-v4 utiliza precios basados en horas pico/valle; la tabla muestra los precios de hora pico. Todos los modelos candidatos admiten el modo de pensamiento; los tokens de pensamiento se facturan al precio de salida.

Invocar un enrutador de modelos

Una vez creado, invocar un enrutador de modelos es igual que invocar un modelo normal; simplemente reemplace el parámetro model en la solicitud con el model-code del enrutador (por ejemplo, auto-model-abcd1234); el cliente puede integrarse sin cambios en el código.

Ejemplo de llamada:

curl -X POST https://dashscope-intl.aliyuncs.com/compatible-mode/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto-model-abcd1234",
    "messages": [{"role": "user", "content": "Hello"}]
  }'

from openai import OpenAI

client = OpenAI(
    api_key="YOUR_DASHSCOPE_API_KEY",
    base_url="https://dashscope-intl.aliyuncs.com/compatible-mode/v1",
)
resp = client.chat.completions.create(
    model="auto-model-abcd1234",
    messages=[{"role": "user", "content": "Hello"}],
)
print(resp.choices[0].message.content)
print(resp.model)  # the actual executing model name

# DashScope SDK (install first: pip install dashscope)

from dashscope import Generation

resp = Generation.call(
    model="auto-model-abcd1234",
    api_key="YOUR_DASHSCOPE_API_KEY",
    messages=[{"role": "user", "content": "Hello"}],
)
print(resp.output.choices[0].message.content)

// OpenAI SDK (install first: npm install openai)

const OpenAI = require("openai");

const client = new OpenAI({
  apiKey: process.env.DASHSCOPE_API_KEY,
  baseURL: "https://dashscope-intl.aliyuncs.com/compatible-mode/v1",
});
const resp = await client.chat.completions.create({
  model: "auto-model-abcd1234",
  messages: [{ role: "user", content: "Hello" }],
});
console.log(resp.choices[0].message.content);
console.log(resp.model); // the actual executing model name

Respuesta: el encabezado de respuesta x-dashscope-resolved-model contiene el identificador del modelo realmente invocado (úselo para verificar que el enrutamiento surtió efecto); el cuerpo conserva el nombre del modelo ejecutado realmente y el uso real de tokens, y la facturación se basa en el modelo realmente enrutado.

Facturación: El enrutamiento inteligente factura según el modelo real al que se enruta cada solicitud; el modelo de enrutamiento en sí es gratuito.

Conmutación por error automática

El Enrutamiento de Modelos tiene una conmutación por error automática integrada, habilitada de forma predeterminada sin configuración. Cuando el modelo objetivo no está disponible, el servicio de enrutamiento reenvía la solicitud completa con otro modelo candidato, sin cambiar a mitad de la inferencia.

Los siguientes casos NO activan la conmutación por error automática; los errores se transmiten con la información de error original del modelo real:

• 429 (límite de tasa)
• 400/403/404/500 y otros errores deterministas (cambiar de modelo probablemente también fallaría)
• Errores de tiempo de espera o de red
• Errores después de que la transmisión haya comenzado a devolver contenido

Reglas de filtrado en tiempo real

El servicio de enrutamiento aplica un filtrado en tiempo real al conjunto de candidatos:

• Filtra los modelos que la cuenta actual no tiene permiso para invocar.
• Filtra los modelos que están fuera de línea.
• Filtra modelos incompatibles con los parámetros de la solicitud actual (por ejemplo, si la solicitud incluye response_format, solo se enruta a modelos candidatos que admiten ese parámetro).

El subconjunto realmente seleccionable para una sola solicitud cambia dinámicamente según los permisos, el estado del modelo y los parámetros de la solicitud.

Límites de uso

Soporte de protocolo:

Notas sobre parámetros

• response_format: Enruta solo a modelos candidatos que admiten este parámetro.
• enable_search: Enruta solo a modelos candidatos que admiten este parámetro.
• reasoning_effort: Enruta solo a modelos candidatos que admiten este parámetro de forma predeterminada; valores de enumeración admitidos: none, minimal, low, medium, high, xhigh, max; los niveles no mínimos enrutan solo a modelos sin pensamiento.
• enable_thinking: Enruta solo a modelos candidatos que admiten el modo de pensamiento.

En el modo de enrutamiento inteligente, los siguientes parámetros no son compatibles; configurarlos provoca un error de ejecución:

Caché

El enrutamiento inteligente no admite caché explícita; solo admite la caché implícita proporcionada por el modelo real invocado. La caché solo puede activarse cuando una solicitud se enruta al mismo modelo y el prefijo del prompt cumple con las condiciones de caché de dicho modelo. Dado que diferentes solicitudes pueden enrutarse a distintos modelos, el enrutamiento inteligente no garantiza la tasa de aciertos de caché. Para obtener más información sobre cómo funciona el almacenamiento en caché y los modelos compatibles, consulte Caché de contexto.

Gestionar servicio de ruta

Ver detalles

Después de la implementación, haga clic en el nombre del servicio en la lista de Dedicated Deployment para ingresar a la página de detalles:

• Información básica: nombre del servicio, model-code, estado de ejecución, etiqueta de estrategia de enrutamiento.
• Configuración de ruta: versión del modelo de ruta, estrategia de enrutamiento, conjunto de candidatos y lista de modelos candidatos.
• Facturación: pago por uso, facturado según el precio unitario del modelo real.
• Configuración de implementación: cuota de limitación TPM/RPM de cada modelo candidato.

Modificar configuración de ruta

Haga clic en "Edit" en el área de Route Configuration para modificar la versión de la ruta, la estrategia y los modelos candidatos. Cambiar la versión modifica el conjunto de candidatos, surtiendo efecto en unos minutos sin afectar las solicitudes en vivo.

Después de seleccionar una versión específica, el comportamiento de enrutamiento en línea permanece estable a largo plazo; realice una evaluación exhaustiva antes de actualizar para evitar impactos en el negocio. Versión actual: model-router-2026-0908. Las versiones de ruta no se actualizan automáticamente.

Eliminar servicio

Elimine el servicio de enrutamiento de modelos de la lista de Dedicated Deployment. model-code no se reutiliza después de la eliminación.

Efecto de enrutamiento

Este capítulo cubre las métricas y el monitoreo del efecto de enrutamiento. Las métricas de efecto se ven en la pestaña "Routing effect" de la página de detalles; el monitoreo de llamadas se ve en la página de Model Monitoring.

Métricas de enrutamiento

Vea las siguientes métricas en la pestaña "Routing effect" de la página de detalles. Las métricas mostradas son estimaciones, solo para referencia; no son para liquidación de facturación; la facturación real se basa en "Cost and Usage":

Notas sobre costos

Los datos de análisis de costos tienen un retraso aproximado de 1 hora y no son en tiempo real. Los costos anteriores están todos estimados por precio de catálogo como costo completo, excluyendo descuentos de cuenta y cuotas gratuitas, solo como referencia para evaluar los ahorros de enrutamiento. Los modelos de facturación escalonada utilizan el precio de catálogo del nivel más bajo; los modelos de precios pico-valle utilizan precios pico. La facturación real se puede ver en "Cost and Usage".

Monitoreo de modelos

Para un monitoreo de llamadas más granular, vaya a la página de Model Monitoring. Muestra el monitoreo y los registros del modelo en la dimensión auto-model, no el monitoreo individual de los modelos realmente enrutados.