人工智能平台 PAI：模型缓存加速

登录PAI控制台，在页面上方选择目标地域，并在右侧选择目标工作空间，然后单击进入EAS。

单击部署服务，然后在自定义模型部署区域，单击自定义部署。

关键参数说明如下，其他请参见自定义部署。

1. 在环境信息区域，配置存储挂载，将模型文件挂载到容器目录。比如选择OSS：

   • Uri：模型文件所在的OSS路径，如oss://path/to/models/Qwen3-8B/。

   • 挂载路径：挂载到容器中的路径，如/mnt/models/Qwen3-8B/。

2. 在服务功能区域，打开分布式缓存加速开关，配置以下参数：

   参数	描述
   占用最大内存	缓存占用的最大内存，单位GB，超过限制时按LRU策略淘汰。示例：20 GB。
   源路径	需加速文件的源目录。填写OSS/NAS挂载到容器的路径。
   加速路径	本地缓存的路径。业务程序从该目录读取模型，须与源路径不同。示例：/mnt/models/Qwen3-8B-fast/。
   模型缓存预热服务	（可选）选择已部署的模型预热缓存服务。适用于全新部署或对冷启动速度有较高要求的场景（例如模型文件较大、需要频繁扩容）。如需使用，请先部署模型预热缓存服务。

3. 在环境信息区域，修改运行命令，将命令中原本的模型文件源路径改为加速路径。以部署LLM服务为例：

   vllm serve /mnt/models/Qwen3-8B-fast/

参数配置完成后，单击部署。

登录PAI控制台，在页面上方选择目标地域，并在右侧选择目标工作空间，然后单击进入EAS。

在模型在线服务 (EAS)页面，单击部署服务，然后在自定义模型部署区域，单击JSON独立部署。

输入JSON配置，示例如下。

{
    "cloud": {
        "computing": {
            "instances": [
                {
                    "type": "ecs.gn6e-c12g1.3xlarge"
                }
            ]
        },
        "networking": {
            "security_group_id": "your-security-group-id",
            "vpc_id": "your-vpc-id",
            "vswitch_id": "your-vswitch-id"
        }
    },
    "containers": [
        {
            "image": "eas-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-eas/vllm:0.11.2-py312-mows0.5.1",
            "port": 8000,
            "script": "vllm serve /mnt/models/Qwen3-8B/"
        }
    ],
    "metadata": {
        "cpu": 12,
        "disk": "30Gi",
        "gpu": 1,
        "instance": 1,
        "memory": 92000,
        "name": "vllm_test",
        "workspace_id": "your-workspace-id"
    },
    "storage": [
        {
            "mount_path": "/mnt/models/Qwen3-8B/",
            "oss": {
                "path": "oss://path/to/models/Qwen3-8B/",
                "readOnly": false
            }
        },
        {
            "cache": {
                "capacity": "10G",
                "path": "/mnt/models/Qwen3-8B/",
                "cacheroot_service": "your-cacheroot-service"
            },
            "mount_path": "/mnt/models/Qwen3-8B-fast/"
        }
    ]
}

内存缓存加速参数说明如下，其他参数配置说明参见JSON部署。

单击部署。