Platform For AI:モデルキャッシュアクセラレーション

PAI コンソールにログインします。ページ上部でリージョンを選択し、目的のワークスペースを選択して、Elastic Algorithm Service (EAS) をクリックします。

サービスのデプロイメント をクリックします。カスタムモデルのデプロイ セクションで、カスタムデプロイメント をクリックします。

主要なパラメーターは次のとおりです。その他のパラメーターの詳細については、「カスタムデプロイメント」をご参照ください。

1. 環境コンテキスト セクションで、ストレージのマウント を構成し、モデルファイルをコンテナディレクトリにマウントします。たとえば、OSS からファイルをマウントする場合：

   • Uri：モデルファイルが配置されている OSS パス。例：oss://path/to/models/Qwen3-8B/

   • マウントパス：コンテナ内でファイルがマウントされるパス。例：/mnt/models/Qwen3-8B/

2. サービス機能の設定 セクションで、メモリキャッシュによる高速化 スイッチをオンにして、以下のパラメーターを構成します。

   パラメーター	説明
   最大メモリ使用量	キャッシュが使用できる最大メモリ容量（単位：GB）。この上限を超えると、システムは LRU ポリシーに基づいてデータをエビクションします。例：20 GB
   ソースパス	アクセラレーション対象のソースディレクトリです。OSS または NAS ストレージがマウントされているコンテナパスを入力します。
   マウントパス	ローカルキャッシュパスです。ご利用のアプリケーションはこのディレクトリからモデルを読み取ります。このパスはソースパスと異なる必要があります。例：/mnt/models/Qwen3-8B-fast/
   モデルキャッシュプリフェッチサービス	（オプション）デプロイ済みのキャッシュウォームアップサービスを選択します。大規模モデルファイルや頻繁なスケールアウトなど、高速なコールドスタートが求められる新規デプロイメントに推奨されます。このオプションを使用するには、事前にキャッシュウォームアップサービスをデプロイしておく必要があります。

3. 環境コンテキスト セクションで、コマンドの実行 を変更し、コマンド内のモデルファイルパスをソースパスからアクセラレーションパスに変更します。たとえば、LLM サービスをデプロイする場合：

   vllm serve /mnt/models/Qwen3-8B-fast/

パラメーターを構成したら、デプロイメント をクリックします。

PAI コンソールにログインします。ページ上部でリージョンを選択し、目的のワークスペースを選択して、Elastic Algorithm Service (EAS) をクリックします。

Elastic Algorithm Service (EAS) ページで、サービスのデプロイメント をクリックします。カスタムモデルのデプロイ セクションで、JSON 独立デプロイメント をクリックします。

JSON 構成を入力します。例：

{
    "cloud": {
        "computing": {
            "instances": [
                {
                    "type": "ecs.gn6e-c12g1.3xlarge"
                }
            ]
        },
        "networking": {
            "security_group_id": "your-security-group-id",
            "vpc_id": "your-vpc-id",
            "vswitch_id": "your-vswitch-id"
        }
    },
    "containers": [
        {
            "image": "eas-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-eas/vllm:0.11.2-py312-mows0.5.1",
            "port": 8000,
            "script": "vllm serve /mnt/models/Qwen3-8B-fast/"
        }
    ],
    "metadata": {
        "cpu": 12,
        "disk": "30Gi",
        "gpu": 1,
        "instance": 1,
        "memory": 92000,
        "name": "vllm_test",
        "workspace_id": "your-workspace-id"
    },
    "storage": [
        {
            "mount_path": "/mnt/models/Qwen3-8B/",
            "oss": {
                "path": "oss://path/to/models/Qwen3-8B/",
                "readOnly": false
            }
        },
        {
            "cache": {
                "capacity": "10G",
                "path": "/mnt/models/Qwen3-8B/",
                "cacheroot_service": "your-cacheroot-service"
            },
            "mount_path": "/mnt/models/Qwen3-8B-fast/"
        }
    ]
}

次の表では、モデルキャッシュの高速化に関連するパラメーターについて説明します。その他のパラメーターについては、「JSON デプロイメント」をご参照ください。

デプロイメント をクリックします。