人工智能平台 PAI：使用LLM智能路由提升推理效率

架构概览

LLM智能路由是由LLM Gateway、LLM Scheduler以及LLM Agent三个核心组件构成，它们协同工作，为后端的大语言模型推理实例集群提供智能的流量分发和管理。

• LLM Gateway：作为流量入口，负责接收所有用户请求，并根据LLM Scheduler的决策将请求转发到指定的后端推理实例。它支持HTTP（HTTP_SSE）和WebSocket协议，并在后端推理实例高负载时可缓存请求。

• LLM Scheduler：作为智能路由的大脑，负责执行调度算法。它从所有LLM Agent处汇集实时指标，并根据预设的调度策略（如基于前缀缓存）为每个到来的请求计算出最优的目标实例。

• LLM Agent：作为Sidecar容器与每个推理实例一同部署。它负责采集推理引擎的性能指标，与LLM Scheduler保持心跳，并上报实例的健康状况和负载数据。

实现流程

LLM智能路由本质上是一种特殊的EAS服务，必须和推理服务部署在同一个服务群组下，才能正常工作。部署LLM智能路由和推理服务后，LLM智能路由能够将请求智能调度给后端推理服务，具体实现流程如下：

1. 实例注册：推理服务启动后，LLM Agent等待推理引擎就绪，然后向LLM Scheduler注册该实例，并开始周期性上报健康状况和性能指标。

2. 流量接入：用户的请求首先到达LLM Gateway。Gateway支持HTTP（SSE）和WebSocket协议。

3. 调度决策：LLM Gateway向LLM Scheduler发起调度请求。

4. 智能调度：LLM Scheduler基于调度策略，根据从各LLM Agent收集的实时指标，选择一个当前最优的后端实例。

5. 请求转发：LLM Scheduler将决策结果返回给LLM Gateway，LLM Gateway随即把用户的原始请求转发到该目标实例进行推理。

6. 请求缓冲：当所有后端实例均处于高负载状态时，新请求会暂时缓存在LLM Gateway的队列中，等待LLM Scheduler找到合适的转发时机，以避免请求失败。

Failover机制

系统设计了多层容错机制以保障服务稳定性：

• LLM Gateway：作为无状态的流量接入层，建议部署至少2个实例。当某个实例故障时，流量会自动切换至其他健康实例，保证服务的持续可用性。

• LLM Scheduler：作为请求调度组件，单实例运行以实现全局调度。LLM Scheduler发生故障时，LLM Gateway会在心跳失败后自动降级，采用轮询策略将请求直接转发给后端实例。这保证了服务的可用性，但会牺牲调度性能。待LLM Scheduler恢复后，LLM Gateway会自动切换回智能调度模式。

• 推理实例或LLM Agent：当某个推理实例或其伴生的LLM Agent发生故障时，LLM Agent与LLM Scheduler之间的心跳会中断。LLM Scheduler会立即将该实例从可用服务列表中移除，不再向其分配新流量。待实例恢复并重新上报心跳后，它将自动重新加入服务列表。

多推理引擎支持

由于不同LLM推理引擎的/metrics接口返回的指标信息存在差异，LLM Agent负责对这些指标进行采集并统一格式化处理后上报。LLM Scheduler无需关注具体推理引擎的实现细节，只需基于统一化指标进行调度算法的编写。目前支持的LLM推理引擎及其对应的采集指标如下：

步骤一：部署LLM智能路由服务

支持以下两种部署方式：

步骤二：部署大语言模型（LLM）服务

部署LLM服务时，需将其关联到已创建的智能路由服务。本文以EAS场景化部署LLM为例，具体操作步骤如下：

1. 登录PAI控制台，在页面上方选择目标地域，并在右侧选择目标工作空间，然后单击进入EAS。

2. 在推理服务页面，单击部署服务，选择LLM大语言模型部署。在服务功能区域找到并打开LLM智能路由开关，从下拉列表中选择在步骤一部署的LLM智能路由服务。其他参数参见LLM大语言模型部署。

   说明

   当使用vLLM加速部署，并且LLM智能路由服务的调度策略选择基于前缀缓存时，需将引擎的前缀缓存功能打开。

3. 参数配置完成后，单击部署。

获取访问凭证

1. 在模型在线服务（EAS）页面，找到部署的LLM智能路由服务。

2. 单击服务名称进入概览页面，在基本信息区域单击查看调用信息。

3. 在调用信息页面，复制服务独立流量入口下的公网调用地址和Token。

构建与发送请求

最终的请求URL由LLM智能路由的访问地址和模型服务的API路径拼接而成。

• URL结构: <LLM智能路由访问地址>/<LLM服务请求接口>

• 示例: http://********.pai-eas.aliyuncs.com/api/predict/group_llm_gateway.llm_gateway/v1/chat/completions

请求示例

# 将 <YOUR_GATEWAY_URL> 和 <YOUR_TOKEN> 替换为您的实际信息
# <model_name> 替换为实际的模型名称
curl -X POST "<YOUR_GATEWAY_URL>/v1/chat/completions" \
     -H "Authorization: Bearer <YOUR_TOKEN>" \
     -H "Content-Type: application/json" \
     -N \
     -d '{
           "model": "<model_name>",
           "messages": [{"role": "user", "content": "你好"}],
           "stream": true
         }'

返回结果示例如下：

data: {"id":"chatcmpl-9a9f8299*****","object":"chat.completion.chunk","created":1762245102,"model":"Qwen3-8B","choices":[{"index":0,"delta":{"role":"assistant","content":""},"logprobs":null,"finish_reason":null}]}
data: {"id":"chatcmpl-9a9f8299*****","object":"chat.completion.chunk","created":1762245102,"model":"Qwen3-8B","choices":[{"index":0,"delta":{"content":"<think>","tool_calls":[]}}]}

...
data: [DONE]