Platform For AI:モデルキャッシュアクセラレーション

PAI コンソールにログインします。ページ上部でリージョンを選択し、目的のワークスペースを選択して、Elastic Algorithm Service (EAS) をクリックします。

Deploy Service をクリックします。Custom Model Deployment セクションで、Custom Deployment をクリックします。

主要なパラメーターは次のとおりです。その他のパラメーターの詳細については、「カスタムデプロイメント」をご参照ください。

1. Environment Information セクションで、Mount storage を構成し、モデルファイルをコンテナディレクトリにマウントします。たとえば、OSS からファイルをマウントする場合：

   • Uri：モデルファイルが配置されている OSS パス。例：oss://path/to/models/Qwen3-8B/

   • Mount Path：コンテナ内でファイルがマウントされるパス。例：/mnt/models/Qwen3-8B/

2. Features セクションで、Distributed cache acceleration スイッチをオンにして、以下のパラメーターを構成します。

   パラメーター	説明
   Maximum Memory Usage	キャッシュが使用できる最大メモリ容量（単位：GB）。この上限を超えると、システムは LRU ポリシーに基づいてデータをエビクションします。例：20 GB
   Source Path	アクセラレーション対象のソースディレクトリです。OSS または NAS ストレージがマウントされているコンテナパスを入力します。
   Accelerated Path	ローカルキャッシュパスです。ご利用のアプリケーションはこのディレクトリからモデルを読み取ります。このパスはソースパスと異なる必要があります。例：/mnt/models/Qwen3-8B-fast/
   Model Cache Prefetch Service	（オプション）デプロイ済みのキャッシュウォームアップサービスを選択します。大規模モデルファイルや頻繁なスケールアウトなど、高速なコールドスタートが求められる新規デプロイメントに推奨されます。このオプションを使用するには、事前にキャッシュウォームアップサービスをデプロイしておく必要があります。

3. Environment Information セクションで、Command to Run を変更し、コマンド内のモデルファイルパスをソースパスからアクセラレーションパスに変更します。たとえば、LLM サービスをデプロイする場合：

   vllm serve /mnt/models/Qwen3-8B-fast/

パラメーターを構成したら、Deploy をクリックします。

PAI コンソールにログインします。ページ上部でリージョンを選択し、目的のワークスペースを選択して、Elastic Algorithm Service (EAS) をクリックします。

Elastic Algorithm Service (EAS) ページで、Deploy Service をクリックします。Custom Model Deployment セクションで、JSON Deployment をクリックします。

JSON 構成を入力します。例：

{
    "cloud": {
        "computing": {
            "instances": [
                {
                    "type": "ecs.gn6e-c12g1.3xlarge"
                }
            ]
        },
        "networking": {
            "security_group_id": "your-security-group-id",
            "vpc_id": "your-vpc-id",
            "vswitch_id": "your-vswitch-id"
        }
    },
    "containers": [
        {
            "image": "eas-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-eas/vllm:0.11.2-py312-mows0.5.1",
            "port": 8000,
            "script": "vllm serve /mnt/models/Qwen3-8B-fast/"
        }
    ],
    "metadata": {
        "cpu": 12,
        "disk": "30Gi",
        "gpu": 1,
        "instance": 1,
        "memory": 92000,
        "name": "vllm_test",
        "workspace_id": "your-workspace-id"
    },
    "storage": [
        {
            "mount_path": "/mnt/models/Qwen3-8B/",
            "oss": {
                "path": "oss://path/to/models/Qwen3-8B/",
                "readOnly": false
            }
        },
        {
            "cache": {
                "capacity": "10G",
                "path": "/mnt/models/Qwen3-8B/",
                "cacheroot_service": "your-cacheroot-service"
            },
            "mount_path": "/mnt/models/Qwen3-8B-fast/"
        }
    ]
}

次の表では、モデルキャッシュの高速化に関連するパラメーターについて説明します。その他のパラメーターについては、「JSON デプロイメント」をご参照ください。

Deploy をクリックします。