API 网关 - 发布AI网关
Nov 29 2024
API 网关国际站产品文档
https://www.alibabacloud.com/help/api-gateway/cloud-native-api-gateway/product-overview/what-is-an-ai-gateway
适用客户
有大模型 API 调用与管理诉求的企业
新增功能/规格
a. 支持AI Proxy,可用一套 API 标准(兼容 openAI)统一代理多个大模型服务 b. 支持根据模型名称、请求比例、请求特征(如按 header)自动路由到不同的模型服务 c. 支持模型服务不可用时自动 fallback 到其它模型服务 d. 支持 AI API 调试 e. 支持按 API 消费者统一授权,并可进行消费者的调用监控和配额管理(token 限流) f. 集成阿里云可观测产品,实现对 AI 请求链路的统一观测 g. 集成阿里云内容安全,满足企业对 AI 调用的合规、安全、敏感信息保护等诉求 h. 支持缓存 AI 请求响应,降低 LLM 成本,包含简单缓存和语义化缓存