人工智能平台 PAI - EAS全新升级BladeLLM高性能部署服务
Jan 16 2025
人工智能平台 PAIPAI-EAS支持BladeLLM场景化部署，实现LLM推理更快的响应时间和更高的吞吐。
适用客户
基于EAS构建LLM驱动的应用和服务，如智能客服、内容生成、语言翻译等。
新增功能/规格
BladeLLM是PAI自研的推理引擎，提供高效运行时、高性能算子实现和极致的混合量化。PAI-EAS全面结合BladeLLM，推出LLM高性能推理服务，支持部署预置模型和自定义模型，支持一键开启模型并行、投机采样等高级选项，为客户提供高效的LLM部署方案。