负载均衡：AI服务容错回退

1.创建扩展版ALB实例

1. 登录ALB控制台，选择华北6（乌兰察布）地域，单击创建应用型负载均衡。

2. 在购买页完成以下配置，单击立即创建。

   • 地域：选择华北6（乌兰察布）。

   • 实例网络类型：选择公网。

   • VPC和可用区：选择目标VPC，勾选乌兰察布 可用区A和乌兰察布 可用区B后选择对应交换机，并自动分配公网IP。

   • 协议版本：选择IPv4。

   • 功能版本（实例费）：选择扩展版。

3. 在确认订单页面确认实例配置详情，单击立即开通。

2.创建AI类型服务器组

创建三个AI服务类型的服务器组，分别对接DeepSeek、OpenAI和阿里云百炼。为演示容错回退效果，DeepSeek和OpenAI服务器组引用包含错误API Key的身份凭证，使其返回失败响应以触发容错回退。

3.创建监听

1. 在ALB控制台，单击目标实例ID进入实例详情页。在监听页签单击创建监听。

2. 在配置监听步骤，选择监听协议为HTTPS，监听端口填写443，完成后单击下一步。

3. 在配置SSL证书步骤，选择与自定义域名匹配的服务器证书，单击下一步。

4. 在选择服务器组步骤，依次选择AI服务类型和服务器组sgp-fake-deepseek，完成后单击下一步。

   此处选择的服务器组将用于监听的默认规则，即在请求未命中其他转发规则时处理请求，用户可根据实际需求进行调整。

5. 在配置审核步骤，确认配置并单击提交。

4.配置转发规则

请求按优先级数字从小到大依次匹配转发规则，匹配到某条规则后执行其转发动作，不再匹配后续规则。

1. 在实例监听页签，单击目标监听ID。在监听详情页切换到转发规则页签。

2. 单击插入新规则，完成以下配置后单击确定。

   1. 转发条件：选择AI模型，模型名称输入deepseek-chat。

   2. 转发动作：转发至服务器组sgp-fake-deepseek。

   3. 添加动作：容错回退至服务器组sgp-fake-openai，右侧模型名称输入gpt-3.5。

   4. 在容错回退下添加服务器组：服务器组sgp-bailian，右侧模型名称输入qwen-turbo。

转发条件AI模型将匹配所有请求路径为/v1/completions、/v1/chat/completions或/v1/embeddings，且请求内容符合OpenAI兼容协议的请求。如填写模型名称，则需同时满足请求体中的model字段与指定模型名称匹配。

配置容错回退的模型名称后，ALB在回退时会自动将请求体中的model字段改写为指定的模型名称，确保请求体与目标服务的模型匹配。

5.设置域名解析

将自有域名通过CNAME解析指向ALB实例的DNS名称，客户端通过自有域名访问ALB。

本文以阿里云云解析DNS为例，对于非阿里云注册域名，需先将域名添加到云解析控制台。

1. 在ALB控制台，复制目标实例的DNS 名称。

2. 登录域名解析控制台，在目标域名的操作列单击解析设置。在解析设置页面单击添加记录。

3. 参考以下信息添加CNAME记录，完成后单击确定。

   • 记录类型：选择CNAME。

   • 主机记录：输入域名前缀如ai。假设用户自有根域名为example.com，则访问ALB的域名为ai.example.com。

   • 解析请求来源和TTL时间：保持默认。

   • 记录值：输入ALB实例的DNS名称。

4. 在弹出的解析变更确认对话框确认解析信息，单击确定。

6.验证测试

• 使用curl命令验证请求是否正确容错回退至对应的大模型服务。请用实际配置的域名替换ai.example.com，需确保域名解析已生效。

• 客户端发送的请求需符合OpenAI兼容协议，请求路径为/v1/completions、/v1/chat/completions或/v1/embeddings，请求体中需包含model字段。转发规则根据model字段的值进行路由匹配。

curl -v \
    -H "Content-Type: application/json" \
    -d '{
        "model": "deepseek-chat",
        "messages": [
            {
                "role": "user",
                "content": "你是谁"
            }
        ]
    }' \
    https://ai.example.com/v1/chat/completions

请求成功时，返回如下响应。由于sgp-fake-deepseek和sgp-fake-openai使用错误的API Key，ALB在分别收到失败响应后依次回退，最终将请求成功转发至sgp-bailian。响应中的model字段为qwen-turbo，content字段包含千问的自我介绍，表明请求已正确回退至阿里云百炼，并且请求体中的模型名称已被改写为qwen-turbo。

{
    "choices": [
        {
            "message": {
                "role": "assistant",
                "content": "我是通义千问，是阿里巴巴集团旗下的通义实验室自主研发的超大规模语言模型。我的中文名字是通义千问，英文名字是Qwen。我能够回答问题、创作文字、逻辑推理、编程等多种任务。你可以叫我Qwen或者通义千问。有什么我可以帮助你的吗？"
            },
            "finish_reason": "stop",
            "index": 0
        }
    ],
    "object": "chat.completion",
    "model": "qwen-turbo"
}

计费说明

• ALB扩展版：目前处于公测阶段，用户可免费体验。

• 公网访问费用：公网NAT网关收取实例费和容量单位CU费。NAT网关和扩展版ALB实例绑定的EIP有独立的计费规则，费用由EIP收取。

• 域名和DNS解析费用：除了需要支付域名供应商的域名费用外，在阿里云配置DNS解析需要支付公网权威解析费用。

• 证书费用：从阿里云购买证书或将证书上传至阿里云，需要支付服务器证书费用。

• 百炼模型费用：调用百炼大模型API需要支付费用。

使用限制

• 容错回退支持以下类型的服务器组：服务器类型、IP类型、函数计算类型、DNS域名、AI服务。配置容错回退时，这些类型的服务器组均可作为转发至或容错回退的目标。

• 容错回退至非AI服务类型的服务器组时，需确保该服务器组提供OpenAI协议兼容的模型服务。

• 一条转发规则默认支持配置最多5个容错回退服务，如需调整配额请提交工单。

• 容错回退的触发条件（HTTP 4xx/5xx状态码）为系统预设，不支持自定义修改。

ALB扩展版支持的地域

使用建议

• 回退顺序规划 ：容错回退按配置顺序依次执行，建议结合模型可用性、成本、响应延迟等因素合理规划各级回退服务的优先级。

• 模型一致性：不同模型供应商的输出格式和能力存在差异，建议在各回退服务中选择能力相近的模型，降低回退后对业务逻辑的影响。

常见问题