新功能/规格

人工智能平台 PAI - EAS推出LLM智能路由,提升LLM推理服务效率

LLM智能路由能显著提升推理系统的资源使用水位,为客户降本增效
国际站产品文档

https://www.alibabacloud.com/help/pai/user-guide/use-llm-intelligent-router-to-improve-inference-efficiency

适用客户

基于EAS构建LLM驱动的应用和服务,如智能客服、内容生成、语言翻译等。如果客户需要高效且稳定地处理大量用户请求,LLM智能路由能够帮助客户提升吞吐量和降低延时。

新增功能/规格

客户在部署LLM类型的EAS服务时,支持关联LLM智能路由,能够对请求进行智能分发,从而保证后端实例处理的算力和显存尽可能均匀,提升集群资源使用水位,

阿里云第七代ECS正式发售

整体算力提升40%,芯片级安全防护。
搭载第三代英特尔®至强®可扩展处理器(代号"IceLake")。

  • 销售支持

    1对1售前咨询

  • 售后支持计划

    24/7 技术支持 每季度 6 个免费工单 更快的服务响应时间

  • 阿里云为客户提供专业、灵活的支持服务,以满足您多样化的业务需求。