人工智能平台 PAI - EAS推出LLM智能路由,提升LLM推理服务效率
Aug 16 2024
人工智能平台 PAI国际站产品文档
https://www.alibabacloud.com/help/pai/user-guide/use-llm-intelligent-router-to-improve-inference-efficiency
适用客户
基于EAS构建LLM驱动的应用和服务,如智能客服、内容生成、语言翻译等。如果客户需要高效且稳定地处理大量用户请求,LLM智能路由能够帮助客户提升吞吐量和降低延时。
新增功能/规格
客户在部署LLM类型的EAS服务时,支持关联LLM智能路由,能够对请求进行智能分发,从而保证后端实例处理的算力和显存尽可能均匀,提升集群资源使用水位,