人工智能平台 PAI - EAS发布Prefill-Decode分离功能
Aug 07 2025
人工智能平台 PAIEAS发布PD分离功能，包含静态PD分离、动态PD分离等多种部署模式，支持vLLM/SGLang/BladeLLM等多种推理引擎，帮助客户降低推理延迟。
适用客户
适用于基于EAS构建LLM驱动的应用和服务的客户。 1、大流量C端应用的企业：可以改善用户体验，降低TTFT和TPOT 2、处理长文本任务的企业：可以降低长上下文的整体延迟。
新增功能/规格
EAS支持在部署LLM服务时，启用PD分离功能。该功能实现了将推理任务拆解为预填充（Prefill）和解码（Decode）两个独立阶段，并分配到各自的计算资源上执行，从而在满足严格延迟要求的同时，显著提升系统吞吐量。