Platform For AI：使用LLM智能路由提升推理效率

核心組件

LLM智能路由服務主要由以下兩個核心組件構成：

• LLM Gateway：流量入口與請求處理中心。接收使用者請求並根據LLM Scheduler的決策轉寄到目標推理執行個體。

  • 支援HTTP（HTTP_SSE）和 WebSocket 通訊協定。

  • 預設開啟 Anthropic API 協議轉換功能，能夠將符合 Anthropic 規範的請求自動轉換為 OpenAI 相容格式。使用者無需修改代碼，即可直接使用 Claude Code 等生態工具調用遵循 OpenAI 介面標準的模型服務。詳見使用Claude Code調用。

• LLM Scheduler：智能調度的大腦。根據調度策略（如基於首碼緩衝）為每個請求選擇最優目標執行個體。

工作流程

關鍵流程如下：

1. 接收請求：使用者請求到達 LLM Gateway，後端推理執行個體高負載時緩衝請求。

2. 智能調度：LLM Gateway向LLM Scheduler發起調度請求，LLM Scheduler基於調度策略和各執行個體的即時指標選擇最優執行個體。

3. 請求轉寄：LLM Gateway收到調度結果後，將使用者請求直接轉寄至目標執行個體。

Failover機制

系統設計了多層容錯機制以保障服務穩定性：

• LLM Gateway：建議部署至少2個執行個體。某個執行個體故障時，流量自動切換至健康執行個體。

• LLM Scheduler：故障時LLM Gateway自動降級為輪詢策略轉寄請求（犧牲調度效能但保證可用），恢複後自動切回智能調度。

• 推理執行個體：故障時 LLM Scheduler立即從可用服務列表移除該執行個體，不再分配新流量，恢複後自動重新加入。

步驟一：部署LLM智能路由服務

1. 登入PAI控制台，在頁面上方選擇目標地區。

2. 在左側導覽列單擊模型在线服务（EAS），選擇目標工作空間後進入EAS。

3. 單擊部署服务，選擇场景化模型部署>LLM智能路由部署。

4. 配置參數：

   參數		描述
   基本信息	服务名称	自訂服務名稱，例如llm_gateway。
   资源信息	部署资源	LLM Gateway的資源配置。為確保高可用，副本数預設為2，建議保持。預設 CPU 為4核，記憶體 為8 GB。
   	调度配置	LLM Scheduler的資源配置。預設 CPU 為2核，記憶體為 4 GB。
   	调度策略	選擇後端推理執行個體的負載平衡策略，預設基于前缀缓存。詳細對比和選擇建議請參見調度策略詳解與選擇。
   高级功能	Redis配置	可選。用來持久化儲存使用者資訊與使用統計資料。未配置時使用本地記憶體，服務停止時資料將丟失。詳情請參見配置 Redis 持久化儲存。

5. 單擊部署。當服務狀態變為运行中，表示部署成功。

   部署成功後，系統會自動建立一個群組服務，命名格式為group_<LLM智能路由服務名稱>。您可以前往模型在线服务（EAS）頁面的灰度发布頁簽進行查看。

步驟二：部署LLM服務

必須在部署新LLM服務時配置智能路由功能，無法通過更新已有LLM服務來添加。

以部署 Qwen3-8B 為例，步驟如下：

1. 單擊部署服务，選擇场景化模型部署> LLM大语言模型部署。

2. 配置以下關鍵參數：

   參數		值
   基本信息	模型配置	選擇公共模型，搜尋並選擇Qwen3-8B。
   	推理引擎	選擇vLLM（推薦，相容 OpenAI API）。 說明 如果LLM智能路由服務選擇基于前缀缓存的調度策略，部署LLM服務時若推理引擎選擇vLLM，請確保開啟引擎的首碼緩衝功能。
   	部署模板	選擇單機。系統將根據模板自動填滿推薦的執行個體規格、鏡像等參數。
   服务功能	LLM智能路由	開啟開關，從下拉式清單中選擇步驟一部署的LLM智能路由服務。

3. 單擊部署，服務部署耗時約5分鐘。當服務狀態變為运行中，表示部署成功。

步驟三：調用測試

所有請求都應發送到LLM智能路由服務的訪問地址，而不是後端的具體推理服務。

1. 擷取訪問憑證。

   1. 單擊LLM智能路由服務進入概览頁面，在基本信息地區單擊查看调用信息。

   2. 在調用資訊頁面，複製服务独立流量入口下的公网调用地址和Token。

   重要

   此處的服務 Token 即管理員API Key。如果管理員已通過 WebUI 工作台為使用者指派了獨立 API Key，各使用者應使用自己的 API Key 替換下方樣本中的 <YOUR_TOKEN>。

2. 構建請求URL並發起調用。

   • URL結構: <LLM智能路由訪問地址>/<LLM服務API路徑>

   • 樣本: http://********.pai-eas.aliyuncs.com/api/predict/group_llm_gateway.llm_gateway/v1/chat/completions

   請求樣本：

   # 將 <YOUR_GATEWAY_URL> 和 <YOUR_TOKEN> 替換為您的實際資訊
   curl -X POST "<YOUR_GATEWAY_URL>/v1/chat/completions" \
        -H "Authorization: Bearer <YOUR_TOKEN>" \
        -H "Content-Type: application/json" \
        -N \
        -d '{
              "messages": [{"role": "user", "content": "你好"}],
              "stream": true
            }'

   返回結果樣本如下：

   data: {"id":"chatcmpl-9a9f8299*****","object":"chat.completion.chunk","created":1762245102,"model":"Qwen3-8B","choices":[{"index":0,"delta":{"role":"assistant","content":""},"logprobs":null,"finish_reason":null}]}
   data: {"id":"chatcmpl-9a9f8299*****","object":"chat.completion.chunk","created":1762245102,"model":"Qwen3-8B","choices":[{"index":0,"delta":{"content":"<think>","tool_calls":[]}}]}
   
   ...
   data: [DONE]

服務部署成功後，您可以訪問 WebUI 工作台進行可視化管理，包括即時監控、配置中心等功能。詳情請參見使用LLM智能路由工作台。

步驟一：準備 Tair (Redis) 執行個體

1. 訪問Tair售賣頁購買執行個體。

   重要

   Virtual Private Cloud和交換器需要選擇和待部署的 LLM 智能路由服務相同，其他選項按需配置，建議先選擇最低規格。

2. 將LLM智能路由服務的交換器網段添加到執行個體的白名單中，參見設定白名單。

3. 單擊目標執行個體ID進入詳情頁查看執行個體串連資訊，在部署 LLM 智能路由服務時需要使用。

   • 串連地址+連接埠號碼：在執行個體資訊的串連資訊地區擷取專用網路的串連地址和連接埠號碼。

   • 使用者名稱+密碼：在帳號管理頁面查看預設帳號。若建立執行個體時未設定密碼，可在此修改或重設密碼。若不使用預設帳號，也可建立新的帳號。

步驟二：部署時配置Redis

在基礎配置的基礎上，配置專用網路並補充 Redis 串連參數，以實現資料持久化儲存。

• 配置專用網路：專用網路和交換器必須選擇與步驟一中 Tair 執行個體相同的 VPC 和交換器，以確保 LLM 智能路由服務可以訪問 Tair 執行個體。

• 配置Redis：

  控制台配置

  在高级功能地區，開啟Redis配置功能，並填寫：

  參數	說明
  Redis 地址	Tair 執行個體的串連地址，格式為 <專用網路地址>:<連接埠號碼>，例如 r-uxxx.redis.rds.aliyuncs.com:6379。
  Redis 用户名	Tair 執行個體的使用者名稱。
  Redis 密码	Tair 執行個體的密碼。

  JSON配置

  在 JSON body 的 llm_gateway 節點中，補充以下參數：

  參數	說明
  enable_user_management	使用者管理功能，預設為 true。
  redis_addrs	Tair 執行個體的串連地址，格式為 <專用網路地址>:<連接埠號碼>，例如 r-uxxx.redis.rds.aliyuncs.com:6379。
  redis_username	Tair 執行個體的使用者名稱。
  redis_password	Tair 執行個體的密碼。

  JSON 樣本：

  {
      "llm_gateway": {
          "enable_user_management": true,
          "redis_addrs": "r-uxxx.redis.rds.aliyuncs.com:6379",
          "redis_username": "xxx",
          "redis_password": "xxx"
      }
  }

配置樣本

{
    "cloud": {
        "computing": {
            "instance_type": "ecs.c7.large"
        }
    },
    "llm_gateway": {
        "max_queue_size": 128,
        "retry_count": 2,
        "wait_schedule_timeout": 5000,
        "wait_schedule_try_period": 500
    },
    "llm_scheduler": {
        "cpu": 2,
        "memory": 4000,
        "policy": "prefix-cache"
    },
    "metadata": {
        "group": "group_llm_gateway",
        "instance": 2,
        "name": "llm_gateway",
        "type": "LLMGatewayService",
         "rpc": {
            "disable_auth": true
        }
    }
}

參數說明

使用Claude Code調用

1. 設定 Claude Code 使用EAS智能路由服務提供的 BASE URL 與 TOKEN。

   # 將 <YOUR_GATEWAY_URL> 和 <YOUR_TOKEN> 替換為您的實際資訊
   export ANTHROPIC_BASE_URL=<YOUR_GATEWAY_URL>
   export ANTHROPIC_AUTH_TOKEN=<YOUR_TOKEN>

2. 直接運行 Claude Code 工具。

   claude "寫一個 Python 的 Hello World"

調度策略詳解與選擇

下表對比了各調度策略的邏輯、適用情境及優缺點，協助您選擇合適的策略。

效能測試對比

對Distill-Qwen-7B、QwQ-32B和Qwen2.5-72B三個模型的測試表明，LLM智能路由顯著提升了推理速度和輸送量。測試環境和結果如下。