人工智能平台 PAI - EAS多分布式推理功能发布
Feb 07 2025
人工智能平台 PAIEAS推出多机分布式推理解决方案，突破单一硬件限制，高效支持超大参数模型的部署与运行。
国际站产品文档
https://www.alibabacloud.com/help/pai/user-guide/multi-machine-distributed-inference
适用客户
AI推理/模型服务/AIGC的客户群。
新增功能/规格
随着Qwen-max和Deepseek等超大规模MoE模型的问世，单一设备已难以承载其庞大的参数量。为此，EAS推出多机分布式推理解决方案，突破硬件限制，高效支持超大规模模型的部署与运行。EAS分布式推理支持流水线并行 （Pipeline Parallelism）、张量并行（Tensor Parallelism）和 数据并行（Data Parallelism）等多种并行方式，兼容BladeLLM、vLLM、SGLang等高性能推理引擎框架。