Platform For AI:Melhore a eficiência da inferência com o roteador inteligente de LLM

Componentes principais

O service de roteador inteligente de LLM consiste nos dois componentes principais a seguir:

• LLM Gateway: O ponto de entrada de tráfego e centro de processamento de requisições. Recebe as requisições do usuário e as encaminha para a instância de inferência de destino com base nas decisões do LLM Scheduler.

  • Suporta os protocolos HTTP (HTTP_SSE) e WebSocket.

  • Por padrão, o recurso de conversão de protocolo da API Anthropic está ativado. Esse recurso converte automaticamente requisições compatíveis com Anthropic para um formato compatível com OpenAI. Isso permite usar ferramentas do ecossistema, como Claude Code, para chamar services de modelo que seguem o padrão da API OpenAI sem modificações no código. Para obter mais informações, consulte Usar Claude Code para fazer chamadas.

• LLM Scheduler: O mecanismo de agendamento inteligente. Selecione a instância de destino ideal para cada requisição com base em uma política de agendamento, como roteamento por prefix-cache.

Fluxo de trabalho

O fluxo de trabalho principal é descrito abaixo:

1. Recebimento da requisição: Uma requisição de usuário chega ao LLM Gateway. Se as instâncias de inferência do backend estiverem sob alta carga, o gateway coloca a requisição na fila.

2. Agendamento inteligente: O LLM Gateway envia uma requisição de agendamento para o LLM Scheduler. Em seguida, o LLM Scheduler selecione a instância ideal com base na política de agendamento e nas métricas em tempo real de cada instância.

3. Encaminhamento da requisição: Após receber a decisão de agendamento, o LLM Gateway encaminha a requisição do usuário diretamente para a instância selecionada.

Mecanismo de failover

Um mecanismo de tolerância a falhas em várias camadas garante a estabilidade do service:

• LLM Gateway: Recomendamos implantar pelo menos duas instâncias. Se uma instância falhar, o tráfego fará failover automaticamente para uma instância íntegra.

• LLM Scheduler: Se o agendador falhar, o LLM Gateway reverte automaticamente para o roteamento round-robin. Isso garante a disponibilidade à custa do agendamento inteligente. Quando o agendador se recupera, ele retoma automaticamente o agendamento inteligente.

• Instância de inferência: Se uma instância de inferência falhar, o LLM Scheduler a remove imediatamente do pool disponível e interrompe o roteamento de novo tráfego para ela. Após a recuperação da instância, o agendador a adiciona automaticamente de volta ao pool.

Etapa 1: Implantar o roteador inteligente de LLM

1. Faça logon no PAI console e selecione a região de destino na parte superior da página.

2. No painel de navegação à esquerda, clique em Elastic Algorithm Service (EAS). Na página do EAS, selecione o workspace de destino.

3. Clique em Deploy Service e, em seguida, selecione Scenario-based Model Deployment > Deploy LLM gateway.

4. Configure os parâmetros:

   Parâmetro		Descrição
   Basic Information	Service Name	Insira um nome personalizado para o service, por exemplo, llm_gateway.
   Resource Information	Deployment Resources	Especifica a configuração de recursos para o LLM Gateway. Para alta disponibilidade, o Number of Replicas é definido como 2 por padrão; recomendamos manter essa configuração. A configuração padrão é de 4 vCPUs e 8 GB de memória.
   	Scheduling configuration	Especifica a configuração de recursos para o LLM Scheduler. O padrão é 2 vCPUs e 4 GB de memória.
   	Scheduling Policy	A política de balanceamento de carga para instâncias de inferência do backend. O padrão é Prefix cache. Para uma comparação detalhada que ajude na sua escolha, consulte Referência de políticas de agendamento.
   Advanced Features	Redis config	Opcional. Persiste informações do usuário e estatísticas de uso. Se não for configurado, o service usa a memória local e os dados são perdidos quando o service é interrompido. Para obter detalhes, consulte Configurar armazenamento persistente do Redis.

5. Clique em Deploy. Quando o status do service mudar para Running, a implantação foi bem-sucedida.

   Após a implantação, o sistema cria automaticamente um grupo de services chamado group_<nome do service de roteador inteligente de LLM>. Para visualize o grupo, acesse a página Elastic Algorithm Service (EAS) e clique na aba Group Service.

Etapa 2: Implantar um service de LLM

É necessário configure o recurso de roteador inteligente ao implantar um novo service de LLM. Não é possível adicionar esse recurso a um service existente usando a ação Atualize.

As etapas a seguir usam a implantação do Qwen3-8B como exemplo:

1. Clique em Deploy Service e, em seguida, selecione Scenario-based Model Deployment > LLM Deployment.

2. Configure os seguintes parâmetros principais:

   Parâmetro		Valor
   Basic Information	Model Settings	Selecione Public Model e, em seguida, pesquise e selecione Qwen3-8B.
   	Inference Engine	Selecione vLLM (recomendado; compatível com a API OpenAI). Nota Se o service de roteador inteligente de LLM usar a Prefix cache como política de agendamento e você selecione vLLM como mecanismo de inferência, certifique-se de que o recurso de prefix caching esteja ativado para o mecanismo.
   	Deployment Template	Selecione Single node. O sistema preenche automaticamente as especificações de instância recomendadas, imagem e outros parâmetros do modelo.
   Features	LLM Intelligent Router	Ative a opção e selecione o service de roteador inteligente de LLM implantado na Etapa 1 na lista suspensa.

3. Clique em Deploy. A implantação leva cerca de 5 minutos. Quando o status do service mudar para Running, a implantação foi bem-sucedida.

Etapa 3: Testar o service

Todas as requisições devem ser enviadas para o endpoint de acesso do service de roteador inteligente de LLM, e não para os services de inferência do backend.

1. Obtenha as credenciais de acesso.

   1. Acesse a página Overview do service de roteador inteligente de LLM. Na seção Basic Information, clique em View Endpoint Information.

   2. Na página Endpoint Information, em Service-specific Traffic Entry, copie o Internet Endpoint e o token.

   Importante

   O token do service aqui é a chave de API do administrador. Se um administrador atribuiu a você uma chave de API separada através da bancada WebUI, use sua própria chave de API para substituir <YOUR_TOKEN> no exemplo abaixo.

2. Construa a URL da requisição e chame o service.

   • Formato da URL: <endpoint de acesso do roteador inteligente de LLM>/<caminho da API do service de LLM>

   • Exemplo: http://********.pai-eas.aliyuncs.com/api/predict/group_llm_gateway.llm_gateway/v1/chat/completions

   Exemplo de requisição:

   # Replace <YOUR_GATEWAY_URL> and <YOUR_TOKEN> with your actual values
   curl -X POST "<YOUR_GATEWAY_URL>/v1/chat/completions" \
        -H "Authorization: Bearer <YOUR_TOKEN>" \
        -H "Content-Type: application/json" \
        -N \
        -d '{
              "messages": [{"role": "user", "content": "Hello"}],
              "stream": true
            }'

   Exemplo de resposta:

   data: {"id":"chatcmpl-9a9f8299*****","object":"chat.completion.chunk","created":1762245102,"model":"Qwen3-8B","choices":[{"index":0,"delta":{"role":"assistant","content":""},"logprobs":null,"finish_reason":null}]}
   data: {"id":"chatcmpl-9a9f8299*****","object":"chat.completion.chunk","created":1762245102,"model":"Qwen3-8B","choices":[{"index":0,"delta":{"content":"<think>","tool_calls":[]}}]}
   
   ...
   data: [DONE]

Após implantar o service, você pode usar a bancada WebUI para tarefas como monitoramento ao vivo e gerenciamento de configurações. Para obter detalhes, consulte Usar a bancada do roteador inteligente de LLM.

Etapa 1: Provisionar uma instância Tair (Redis)

1. Adquira uma instância na página de compra do Tair.

   Importante

   Ao crie a instância, selecione a mesma VPC e o mesmo vSwitch do seu service de roteador inteligente de LLM. Para outras opções, você pode começar com as especificações mínimas.

2. Adicione o bloco CIDR do vSwitch do service de roteador inteligente de LLM à lista de permissões da instância. Para obter mais informações, consulte Configurar uma lista de permissões.

3. Clique no ID da instância de destino para abrir a página de detalhes. Você precisará das informações de conexão ao implantar o service de roteador inteligente de LLM.

   • Endereço de conexão e porta: Na seção Instance information, encontre o endereço de conexão da VPC e o número da porta em Connection information.

   • Nome de usuário e senha: Na página Account management, localize a conta padrão. Se você não defina uma senha ao crie a instância, poderá defina ou redefini-la aqui. Também é possível crie uma nova conta em vez de usar a padrão.

Etapa 2: Configure o Redis

Além da configuração básica, é necessário configure a VPC e adicione os parâmetros de conexão do Redis para ative o armazenamento persistente.

• Configure VPC: A VPC e o vSwitch devem ser os mesmos da instância Tair provisionada na Etapa 1. Isso garante que o service de roteador inteligente de LLM possa se conectar à instância Tair.

• Configure Redis:

  Console

  Na seção Advanced Features, ative Redis config e insira os seguintes parâmetros:

  Parâmetro	Descrição
  Redis Address	O endereço de conexão da instância Tair, no formato <endereço da VPC>:<porta>. Por exemplo, r-uxxx.redis.rds.aliyuncs.com:6379.
  Redis Username	O nome de usuário da instância Tair.
  Redis Password	A senha da instância Tair.

  JSON

  No nó llm_gateway do corpo JSON, adicione os seguintes parâmetros:

  Parâmetro	Descrição
  enable_user_management	Ativa o gerenciamento de usuários. O padrão é true.
  redis_addrs	O endereço de conexão da instância Tair, no formato <endereço da VPC>:<porta>. Por exemplo, r-uxxx.redis.rds.aliyuncs.com:6379.
  redis_username	O nome de usuário da instância Tair.
  redis_password	A senha da instância Tair.

  Exemplo de JSON:

  {
      "llm_gateway": {
          "enable_user_management": true,
          "redis_addrs": "r-uxxx.redis.rds.aliyuncs.com:6379",
          "redis_username": "xxx",
          "redis_password": "xxx"
      }
  }

Exemplo de configuração

{
    "cloud": {
        "computing": {
            "instance_type": "ecs.c7.large"
        }
    },
    "llm_gateway": {
        "max_queue_size": 128,
        "retry_count": 2,
        "wait_schedule_timeout": 5000,
        "wait_schedule_try_period": 500
    },
    "llm_scheduler": {
        "cpu": 2,
        "memory": 4000,
        "policy": "prefix-cache"
    },
    "metadata": {
        "group": "group_llm_gateway",
        "instance": 2,
        "name": "llm_gateway",
        "type": "LLMGatewayService",
         "rpc": {
            "disable_auth": true
        }
    }
}

Parâmetros

Usar Claude Code

1. Configure o Claude Code para usar a BASE URL e o TOKEN do service de roteador inteligente do EAS.

   # Replace <YOUR_GATEWAY_URL> and <YOUR_TOKEN> with your actual values
   export ANTHROPIC_BASE_URL=<YOUR_GATEWAY_URL>
   export ANTHROPIC_AUTH_TOKEN=<YOUR_TOKEN>

2. Execute o Claude Code.

   claude "Write a Python Hello World program"

Políticas de agendamento

Esta tabela compara a lógica, casos de uso, vantagens e considerações para cada política de agendamento.

Benchmark de desempenho

Benchmarks nos modelos Distill-Qwen-7B, QwQ-32B e Qwen2.5-72B mostram que o roteador inteligente de LLM melhora significativamente a velocidade de inferência e o throughput.