人工智能平台 PAI - KV Store全局上下文缓存发布
Dec 19 2025
人工智能平台 PAIEAS部署LLM服务的过程中支持配置KV Store的全局上线文缓存，提升LLM推理吞吐性能。
国际站产品文档
https://alibabacloud.com/help/doc-detail/110985.htm
优化内容
EAS部署LLM服务的过程中支持配置KV Store的全局上线文缓存，通过GPU→内存→Redis kv metadata的多级存储查询来提升kvcache命中率，提升LLM推理吞吐性能。