新功能/规格

API 网关 - 发布AI网关

Nov 29 2024

API 网关
AI 网关支持AI大模型代理、可观测、fallback、内容安全、token限流等策略
国际站产品文档

https://www.alibabacloud.com/help/api-gateway/cloud-native-api-gateway/product-overview/what-is-an-ai-gateway

适用客户

有大模型 API 调用与管理诉求的企业

新增功能/规格

a. 支持AI Proxy,可用一套 API 标准(兼容 openAI)统一代理多个大模型服务 b. 支持根据模型名称、请求比例、请求特征(如按 header)自动路由到不同的模型服务 c. 支持模型服务不可用时自动 fallback 到其它模型服务 d. 支持 AI API 调试 e. 支持按 API 消费者统一授权,并可进行消费者的调用监控和配额管理(token 限流) f. 集成阿里云可观测产品,实现对 AI 请求链路的统一观测 g. 集成阿里云内容安全,满足企业对 AI 调用的合规、安全、敏感信息保护等诉求 h. 支持缓存 AI 请求响应,降低 LLM 成本,包含简单缓存和语义化缓存

阿里云第七代ECS正式发售

整体算力提升40%,芯片级安全防护。
搭载第三代英特尔®至强®可扩展处理器(代号"IceLake")。

  • 销售支持

    1对1售前咨询

  • 售后支持计划

    24/7 技术支持 每季度 6 个免费工单 更快的服务响应时间

  • 阿里云为客户提供专业、灵活的支持服务,以满足您多样化的业务需求。