Platform For AI：模型緩衝加速

登入PAI控制台，在頁面上方選擇目標地區，並在右側選擇目標工作空間，然後單擊進入EAS。

單擊部署服务，然後在自定义模型部署地區，單擊自定义部署。

關鍵參數說明如下，其他請參見自訂部署。

1. 在环境信息地區，配置存储挂载，將模型檔案掛載到容器目錄。比如選擇OSS：

   • Uri：模型檔案所在的OSS路徑，如oss://path/to/models/Qwen3-8B/。

   • 挂载路径：掛載到容器中的路徑，如/mnt/models/Qwen3-8B/。

2. 在服务功能地區，開啟分布式缓存加速開關，配置以下參數：

   參數	描述
   占用最大内存	緩衝佔用的最大記憶體，單位GB，超過限制時按LRU策略淘汰。樣本：20 GB。
   源路径	需加速檔案的來源目錄。填寫OSS/NAS掛載到容器的路徑。
   加速路径	本機快取的路徑。業務程式從該目錄讀模數型，須與源路徑不同。樣本：/mnt/models/Qwen3-8B-fast/。
   模型缓存预热服务	（可選）選擇已部署的模型預熱快取服務。適用於全新部署或對冷啟動速度有較高要求的情境（例如模型檔案較大、需要頻繁擴容）。如需使用，請先部署模型預熱快取服務。

3. 在环境信息地區，修改运行命令，將命令中原本的模型檔案源路徑改為加速路徑。以部署LLM服務為例：

   vllm serve /mnt/models/Qwen3-8B-fast/

參數配置完成後，單擊部署。

登入PAI控制台，在頁面上方選擇目標地區，並在右側選擇目標工作空間，然後單擊進入EAS。

在模型在线服务 (EAS)頁面，單擊部署服务，然後在自定义模型部署地區，單擊JSON独立部署。

輸入JSON配置，樣本如下。

{
    "cloud": {
        "computing": {
            "instances": [
                {
                    "type": "ecs.gn6e-c12g1.3xlarge"
                }
            ]
        },
        "networking": {
            "security_group_id": "your-security-group-id",
            "vpc_id": "your-vpc-id",
            "vswitch_id": "your-vswitch-id"
        }
    },
    "containers": [
        {
            "image": "eas-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-eas/vllm:0.11.2-py312-mows0.5.1",
            "port": 8000,
            "script": "vllm serve /mnt/models/Qwen3-8B/"
        }
    ],
    "metadata": {
        "cpu": 12,
        "disk": "30Gi",
        "gpu": 1,
        "instance": 1,
        "memory": 92000,
        "name": "vllm_test",
        "workspace_id": "your-workspace-id"
    },
    "storage": [
        {
            "mount_path": "/mnt/models/Qwen3-8B/",
            "oss": {
                "path": "oss://path/to/models/Qwen3-8B/",
                "readOnly": false
            }
        },
        {
            "cache": {
                "capacity": "10G",
                "path": "/mnt/models/Qwen3-8B/",
                "cacheroot_service": "your-cacheroot-service"
            },
            "mount_path": "/mnt/models/Qwen3-8B-fast/"
        }
    ]
}

記憶體緩衝加速相關參數說明如下，其他參數配置說明，請參見JSON部署。

單擊部署。