Platform For AI:Akselerasi cache model

Masuk ke Konsol PAI. Pilih Wilayah di bagian atas halaman. Lalu, pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).

Klik Deploy Service. Di bagian Custom Model Deployment, klik Custom Deployment.

Konfigurasikan parameter utama berikut. Untuk parameter lainnya, lihat Custom Deployment.

1. Di bagian Environment Information, konfigurasikan Mount storage untuk memasang file model ke direktori kontainer. Misalnya, saat memasang dari OSS:

   • Uri: Jalur OSS file model, seperti oss://path/to/models/Qwen3-8B/.

   • Mount Path: Jalur dalam kontainer tempat file akan dimasang, seperti /mnt/models/Qwen3-8B/.

2. Di bagian Features, aktifkan sakelar Distributed cache acceleration dan konfigurasikan parameter berikut:

   Parameter	Deskripsi
   Maximum Memory Usage	Memori maksimum untuk cache, dalam GB. Jika melebihi batas, kebijakan penggantian LRU diterapkan. Contoh: 20 GB.
   Source Path	Direktori sumber file yang akan diakselerasi. Masukkan jalur mount tempat penyimpanan OSS atau NAS dipasang ke kontainer.
   Accelerated Path	Jalur cache lokal tempat aplikasi Anda membaca model. Harus berbeda dari jalur sumber. Contoh: /mnt/models/Qwen3-8B-fast/.
   Model Cache Prefetch Service	(Opsional) Pilih layanan cache warm-up yang telah diterapkan untuk mengurangi waktu cold start. Untuk menggunakan opsi ini, pertama-tama terapkan layanan cache warm-up.

3. Di bagian Environment Information, ubah Command to Run untuk mengganti jalur file model dari jalur sumber ke jalur terakselerasi. Misalnya, saat menerapkan layanan LLM:

   vllm serve /mnt/models/Qwen3-8B-fast/

Setelah dikonfigurasi, klik Deploy.

Masuk ke Konsol PAI. Pilih Wilayah di bagian atas halaman. Lalu, pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).

Di halaman Elastic Algorithm Service (EAS), klik Deploy Service. Di bagian Custom Model Deployment, klik JSON Deployment.

Masukkan konfigurasi JSON. Contoh:

{
    "cloud": {
        "computing": {
            "instances": [
                {
                    "type": "ecs.gn6e-c12g1.3xlarge"
                }
            ]
        },
        "networking": {
            "security_group_id": "your-security-group-id",
            "vpc_id": "your-vpc-id",
            "vswitch_id": "your-vswitch-id"
        }
    },
    "containers": [
        {
            "image": "eas-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-eas/vllm:0.11.2-py312-mows0.5.1",
            "port": 8000,
            "script": "vllm serve /mnt/models/Qwen3-8B/"
        }
    ],
    "metadata": {
        "cpu": 12,
        "disk": "30Gi",
        "gpu": 1,
        "instance": 1,
        "memory": 92000,
        "name": "vllm_test",
        "workspace_id": "your-workspace-id"
    },
    "storage": [
        {
            "mount_path": "/mnt/models/Qwen3-8B/",
            "oss": {
                "path": "oss://path/to/models/Qwen3-8B/",
                "readOnly": false
            }
        },
        {
            "cache": {
                "capacity": "10G",
                "path": "/mnt/models/Qwen3-8B/",
                "cacheroot_service": "your-cacheroot-service"
            },
            "mount_path": "/mnt/models/Qwen3-8B-fast/"
        }
    ]
}

Tabel berikut menjelaskan parameter yang terkait dengan akselerasi cache model. Untuk parameter lainnya, lihat JSON Deployment.

Klik Deploy.