API 网关 - 云原生API网关上线AI网关产品能力
Dec 26 2024
API 网关AI网关集成模型服务转发、内容安全、AI观测、AI限流、AI缓存，为企业提供访问大模型服务的统一入口
适用客户
适用每一个有大模型 API 调用诉求的企业 帮助企业解决如下问题： 1. 多个供应商的模型无法同时使用 2. 企业内部的数据面临安全风险 3. 企业在使用大模型 API 时存在合规风险（尤其是自建模型和海外大模型） 4. 大模型服务的成功率不高 5. 大模型服务的响应时间长，成本高 6. 难以针对调用方和使用场景做精细化管控
新增功能/规格
AI网关作为企业的统一大模型服务入口，提供以下核心能力： 1. 支持AI Proxy，可用一套 API 标准（兼容 openAI）统一代理多个大模型服务，支持阿里云百炼、openAI等商用模型服务，和用户自建模型服务如ollama 2. 支持根据模型名称、请求比例自动路由到不同的模型服务 3. 支持模型服务不可用时自动 fallback 到其它模型服务 4. 支持在控制台进行 AI API 调试 5. 支持按照不同的请求特征对AI调用进行token限流 6. 集成阿里云可观测产品，提供AI请求的指标统计和日志观测能力 7. 集成阿里云内容安全，对AI调用的请求和响应进行审查，满足企业在应用AI场景时的合规与数据安全诉求 8. 支持缓存 AI 请求响应，降低大模型服务的调用成本