Platform For AI:Improve inference efficiency with the LLM intelligent router

Componentes principales

El servicio de router inteligente para LLM consta de los siguientes dos componentes principales:

• LLM Gateway: Punto de entrada de tráfico y centro de procesamiento de solicitudes. Recibe las solicitudes de los usuarios y las reenvía a la instancia de inference destino según las decisiones del LLM Scheduler.

  • Admite los protocolos HTTP (HTTP_SSE) y WebSocket.

  • De forma predeterminada, la función de conversión de protocolo de la API de Anthropic está habilitada. Esta función convierte automáticamente las solicitudes compatibles con Anthropic a un formato compatible con OpenAI. Esto permite utilizar herramientas del ecosistema, como Claude Code, para invocar servicios de modelo que siguen el estándar de la API de OpenAI sin modificar el código. Para obtener más información, consulte Use Claude Code to make calls.

• LLM Scheduler: Motor de programación inteligente. Selecciona la instancia destino óptima para cada solicitud según una directiva de programación, como el enrutamiento basado en caché de prefijos.

Flujo de trabajo

A continuación se describe el flujo de trabajo clave:

1. Recepción de la solicitud: Una solicitud de usuario llega al LLM Gateway. Si las instancias de inference del backend experimentan una carga alta, el gateway coloca la solicitud en una cola.

2. Programación inteligente: El LLM Gateway envía una solicitud de programación al LLM Scheduler. Posteriormente, el LLM Scheduler selecciona la instancia óptima según la directiva de programación y las métricas en tiempo real de cada instancia.

3. Reenvío de la solicitud: Tras recibir la decisión de programación, el LLM Gateway reenvía la solicitud del usuario directamente a la instancia seleccionada.

Mecanismo de failover

Un mecanismo de tolerancia a fallos multicapa garantiza la estabilidad del servicio:

• LLM Gateway: Se recomienda desplegar como mínimo dos instancias. Si una instancia falla, el tráfico se redirige automáticamente mediante failover a una instancia sana.

• LLM Scheduler: Si el programador falla, el LLM Gateway recurre automáticamente al enrutamiento round-robin. Esto garantiza la disponibilidad a costa de perder la programación inteligente. Cuando el programador se recupera, reanuda automáticamente la programación inteligente.

• Instancia de inference: Si una instancia de inference falla, el LLM Scheduler la elimina inmediatamente del pool disponible y deja de enrutar nuevo tráfico hacia ella. Una vez que la instancia se recupera, el programador la agrega nuevamente al pool de forma automática.

Paso 1: Desplegar el router inteligente para LLM

1. Inicie sesión en la PAI console y seleccione la región destino en la parte superior de la página.

2. En el panel de navegación izquierdo, haga clic en Elastic Algorithm Service (EAS). En la página de EAS, seleccione el espacio de trabajo destino.

3. Haga clic en Deploy Service y luego seleccione Scenario-based Model Deployment > Deploy LLM gateway.

4. Configure los parámetros:

   Parámetro		Descripción
   Basic Information	Service Name	Introduzca un nombre personalizado para el servicio, por ejemplo, llm_gateway.
   Resource Information	Deployment Resources	Especifica la configuración de recursos para el LLM Gateway. Para garantizar alta disponibilidad, el Number of Replicas se establece en 2 de forma predeterminada; se recomienda mantener este valor. La configuración predeterminada es de 4 vCPUs y 8 GB de memory.
   	Scheduling configuration	Especifica la configuración de recursos para el LLM Scheduler. El valor predeterminado es de 2 vCPUs y 4 GB de memory.
   	Scheduling Policy	Directiva de balanceo de carga para las instancias de inference del backend. El valor predeterminado es Prefix cache. Para consultar una comparación detallada que le ayude a elegir, consulte Scheduling policy reference.
   Advanced Features	Redis config	Opcional. Persiste la información de usuarios y las estadísticas de uso. Si no se configura, el servicio utiliza la memoria local y los datos se pierden al detenerse el servicio. Para obtener más detalles, consulte Configure Redis persistent storage.

5. Haga clic en Deploy. Cuando el estado del servicio cambie a Running, el despliegue se habrá completado correctamente.

   Después del despliegue, el sistema crea automáticamente un grupo de servicios llamado group_<nombre del servicio de router inteligente para LLM>. Para ver el grupo, vaya a la página de Elastic Algorithm Service (EAS) y haga clic en la pestaña Group Service.

Paso 2: Desplegar un servicio de LLM

Debe configurar la función de router inteligente al desplegar un nuevo servicio de LLM. No es posible agregar esta función a un servicio existente mediante la acción Update.

Los siguientes pasos utilizan el despliegue de Qwen3-8B como ejemplo:

1. Haga clic en Deploy Service y luego seleccione Scenario-based Model Deployment > LLM Deployment.

2. Configure los siguientes parámetros clave:

   Parámetro		Valor
   Basic Information	Model Settings	Seleccione Public Model y, a continuación, busque y seleccione Qwen3-8B.
   	Inference Engine	Seleccione vLLM (recomendado; compatible con la API de OpenAI). Nota Si el servicio de router inteligente para LLM utiliza la Prefix cache como scheduling policy y usted selecciona vLLM como motor de inference, asegúrese de que la función de prefix caching esté habilitada para dicho motor.
   	Deployment Template	Seleccione Single node. El sistema completará automáticamente las especificaciones de instancia recomendadas, la imagen y otros parámetros a partir de la plantilla.
   Features	LLM Intelligent Router	Active el interruptor y seleccione el servicio de router inteligente para LLM desplegado en el Paso 1 de la lista desplegable.

3. Haga clic en Deploy. El despliegue tarda aproximadamente 5 minutos. Cuando el estado del servicio cambie a Running, el despliegue se habrá completado correctamente.

Paso 3: Probar el servicio

Todas las solicitudes deben enviarse al endpoint de acceso del servicio de router inteligente para LLM, no a los servicios de inference del backend.

1. Obtenga las credenciales de acceso.

   1. Vaya a la página de Overview del servicio de router inteligente para LLM. En la sección Basic Information, haga clic en View Endpoint Information.

   2. En la página Endpoint Information, bajo Service-specific Traffic Entry, copie el Internet Endpoint y el token.

   Importante

   El token del servicio mostrado aquí es la clave API de administrador. Si un administrador le asignó una clave API independiente a través del banco de trabajo WebUI, utilice su propia clave API para reemplazar <YOUR_TOKEN> en el siguiente ejemplo.

2. Construya la URL de la solicitud e invoque el servicio.

   • Formato de URL: <endpoint de acceso del router inteligente para LLM>/<ruta de la API del servicio de LLM>

   • Ejemplo: http://********.pai-eas.aliyuncs.com/api/predict/group_llm_gateway.llm_gateway/v1/chat/completions

   Ejemplo de solicitud:

   # Replace <YOUR_GATEWAY_URL> and <YOUR_TOKEN> with your actual values
   curl -X POST "<YOUR_GATEWAY_URL>/v1/chat/completions" \
        -H "Authorization: Bearer <YOUR_TOKEN>" \
        -H "Content-Type: application/json" \
        -N \
        -d '{
              "messages": [{"role": "user", "content": "Hello"}],
              "stream": true
            }'

   Ejemplo de respuesta:

   data: {"id":"chatcmpl-9a9f8299*****","object":"chat.completion.chunk","created":1762245102,"model":"Qwen3-8B","choices":[{"index":0,"delta":{"role":"assistant","content":""},"logprobs":null,"finish_reason":null}]}
   data: {"id":"chatcmpl-9a9f8299*****","object":"chat.completion.chunk","created":1762245102,"model":"Qwen3-8B","choices":[{"index":0,"delta":{"content":"<think>","tool_calls":[]}}]}
   
   ...
   data: [DONE]

Una vez desplegado el servicio, puede utilizar el banco de trabajo WebUI para tareas como el monitoreo en vivo y la gestión de configuraciones. Para obtener más detalles, consulte Use the LLM intelligent router workbench.

Paso 1: Aprovisionar una instancia de Tair (Redis)

1. Adquiera una instancia desde la página de compra de Tair.

   Importante

   Al crear la instancia, seleccione la misma VPC y vSwitch que utiliza su servicio de router inteligente para LLM. Para las demás opciones, puede comenzar con las especificaciones mínimas.

2. Agregue el bloque CIDR del vSwitch correspondiente al servicio de router inteligente para LLM a la lista de permitidos de la instancia. Para obtener más información, consulte Configure an allowlist.

3. Haga clic en el ID de la instancia destino para abrir la página de detalles. Necesitará la información de conexión cuando despliegue el servicio de router inteligente para LLM.

   • Dirección de conexión y puerto: En la sección Instance information, ubique la dirección de conexión VPC y el número de puerto bajo Connection information.

   • Nombre de usuario y contraseña: En la página Account management, localice la cuenta predeterminada. Si no estableció una contraseña al crear la instancia, puede definirla o restablecerla desde aquí. También puede crear una nueva cuenta en lugar de utilizar la predeterminada.

Paso 2: Configurar Redis

Además de la configuración básica, debe configurar la VPC y agregar los parámetros de conexión de Redis para habilitar el almacenamiento persistente.

• Configurar VPC: La VPC y el vSwitch deben ser los mismos que los de la instancia de Tair aprovisionada en el Paso 1. Esto garantiza que el servicio de router inteligente para LLM pueda conectarse a la instancia de Tair.

• Configurar Redis:

  Console

  En la sección Advanced Features, habilite Redis config e introduzca los siguientes parámetros:

  Parámetro	Descripción
  Redis Address	La dirección de conexión de la instancia de Tair, con el formato <dirección VPC>:<puerto>. Por ejemplo, r-uxxx.redis.rds.aliyuncs.com:6379.
  Redis Username	El nombre de usuario de la instancia de Tair.
  Redis Password	La contraseña de la instancia de Tair.

  JSON

  En el nodo llm_gateway del cuerpo JSON, agregue los siguientes parámetros:

  Parámetro	Descripción
  enable_user_management	Habilita la gestión de usuarios. El valor predeterminado es true.
  redis_addrs	La dirección de conexión de la instancia de Tair, con el formato <dirección VPC>:<puerto>. Por ejemplo, r-uxxx.redis.rds.aliyuncs.com:6379.
  redis_username	El nombre de usuario de la instancia de Tair.
  redis_password	La contraseña de la instancia de Tair.

  Ejemplo de JSON:

  {
      "llm_gateway": {
          "enable_user_management": true,
          "redis_addrs": "r-uxxx.redis.rds.aliyuncs.com:6379",
          "redis_username": "xxx",
          "redis_password": "xxx"
      }
  }

Ejemplo de configuración

{
    "cloud": {
        "computing": {
            "instance_type": "ecs.c7.large"
        }
    },
    "llm_gateway": {
        "max_queue_size": 128,
        "retry_count": 2,
        "wait_schedule_timeout": 5000,
        "wait_schedule_try_period": 500
    },
    "llm_scheduler": {
        "cpu": 2,
        "memory": 4000,
        "policy": "prefix-cache"
    },
    "metadata": {
        "group": "group_llm_gateway",
        "instance": 2,
        "name": "llm_gateway",
        "type": "LLMGatewayService",
         "rpc": {
            "disable_auth": true
        }
    }
}

Parámetros

Uso de Claude Code

1. Configure Claude Code para utilizar la BASE URL y el TOKEN del servicio de router inteligente de EAS.

   # Replace <YOUR_GATEWAY_URL> and <YOUR_TOKEN> with your actual values
   export ANTHROPIC_BASE_URL=<YOUR_GATEWAY_URL>
   export ANTHROPIC_AUTH_TOKEN=<YOUR_TOKEN>

2. Ejecute Claude Code.

   claude "Write a Python Hello World program"

Directivas de programación

La siguiente tabla compara la lógica, los casos de uso, las ventajas y las consideraciones de cada directiva de programación.

Evaluación comparativa de rendimiento

Las pruebas de rendimiento en los modelos Distill-Qwen-7B, QwQ-32B y Qwen2.5-72B demuestran que el router inteligente de LLM mejora significativamente la velocidad y el throughput de inference.