Platform For AI:モデルキャッシュアクセラレーション

PAI コンソールにログインします。ページ上部でリージョンを選択します。次に、目的のワークスペースを選択し、Elastic Algorithm Service (EAS) をクリックします。

Deploy Service をクリックします。Custom Model Deployment セクションで、Custom Deployment をクリックします。

次の主要なパラメーターを設定します。その他のパラメーターについては、「カスタムデプロイ」をご参照ください。

1. Environment Information セクションで、Mount storage を設定して、モデルファイルをコンテナディレクトリにマウントします。例えば、OSS からマウントする場合：

   • [Uri]：モデルファイルの OSS パス。例：oss://path/to/models/Qwen3-8B/。

   • Mount Path: /mnt/models/Qwen3-8B/ など、ファイルがマウントされるコンテナ内のパスです。

2. Features セクションで、Distributed cache acceleration スイッチを有効にし、次のパラメーターを設定します。

   パラメーター	説明
   Maximum Memory Usage	キャッシュの最大メモリ (GB)。超過すると LRU 削除が適用されます。例：20 GB。
   Source Path	高速化するファイルのソースディレクトリ。OSS または NAS ストレージがコンテナにマウントされているマウントパスを入力します。
   Accelerated Path	アプリケーションがモデルを読み取るためのローカルキャッシュパス。ソースパスとは異なる必要があります。例：/mnt/models/Qwen3-8B-fast/。
   Model Cache Prefetch Service	(オプション) デプロイ済みのキャッシュウォームアップサービスを選択して、コールドスタート時間を短縮します。このオプションを使用するには、まずキャッシュウォームアップサービスをデプロイする必要があります。

3. Environment Information セクションで、Command to Run を変更して、モデルファイルパスをソースパスから高速化パスに変更します。例えば、LLM サービスをデプロイする場合：

   vllm serve /mnt/models/Qwen3-8B-fast/

設定後、Deploy をクリックします。

PAI コンソールにログインします。ページ上部でリージョンを選択します。次に、目的のワークスペースを選択し、EAS をクリックします。

Elastic Algorithm Service (EAS) ページで、Deploy Service をクリックします。Custom Model Deployment セクションで、JSON Deployment をクリックします。

JSON 設定を入力します。サンプル：

{
    "cloud": {
        "computing": {
            "instances": [
                {
                    "type": "ecs.gn6e-c12g1.3xlarge"
                }
            ]
        },
        "networking": {
            "security_group_id": "your-security-group-id",
            "vpc_id": "your-vpc-id",
            "vswitch_id": "your-vswitch-id"
        }
    },
    "containers": [
        {
            "image": "eas-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-eas/vllm:0.11.2-py312-mows0.5.1",
            "port": 8000,
            "script": "vllm serve /mnt/models/Qwen3-8B/"
        }
    ],
    "metadata": {
        "cpu": 12,
        "disk": "30Gi",
        "gpu": 1,
        "instance": 1,
        "memory": 92000,
        "name": "vllm_test",
        "workspace_id": "your-workspace-id"
    },
    "storage": [
        {
            "mount_path": "/mnt/models/Qwen3-8B/",
            "oss": {
                "path": "oss://path/to/models/Qwen3-8B/",
                "readOnly": false
            }
        },
        {
            "cache": {
                "capacity": "10G",
                "path": "/mnt/models/Qwen3-8B/",
                "cacheroot_service": "your-cacheroot-service"
            },
            "mount_path": "/mnt/models/Qwen3-8B-fast/"
        }
    ]
}

次の表は、モデルキャッシュアクセラレーションに関連するパラメーターを説明しています。その他のパラメーターについては、「JSON デプロイ」をご参照ください。

Deploy をクリックします。