Platform For AI:Akselerasi cache model

Masuk ke Konsol PAI. Pilih Wilayah di bagian atas halaman. Kemudian, pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).

Klik Deploy Service. Di bagian Custom Model Deployment, klik Custom Deployment.

Parameter utama adalah sebagai berikut. Untuk detail parameter lainnya, lihat penerapan kustom.

1. Di bagian Environment Information, konfigurasikan Mount storage untuk memasang file model ke direktori kontainer. Misalnya, untuk memasang file dari OSS:

   • Uri: Jalur OSS tempat file model berada, seperti oss://path/to/models/Qwen3-8B/.

   • Mount Path: Jalur di dalam kontainer tempat file dimasang, seperti /mnt/models/Qwen3-8B/.

2. Di bagian Features, aktifkan sakelar Distributed cache acceleration dan konfigurasikan parameter berikut:

   Parameter	Deskripsi
   Maximum Memory Usage	Memori maksimum yang dapat digunakan oleh cache, dalam GB. Saat batas ini terlampaui, sistem mengeluarkan data berdasarkan kebijakan LRU. Contoh: 20 GB.
   Source Path	Direktori sumber yang akan dipercepat. Masukkan jalur kontainer tempat penyimpanan OSS atau NAS dimasang.
   Accelerated Path	Jalur cache lokal. Aplikasi Anda membaca model dari direktori ini. Jalur ini harus berbeda dari jalur sumber. Contoh: /mnt/models/Qwen3-8B-fast/.
   Model Cache Prefetch Service	(Opsional) Pilih layanan cache warm-up yang telah diterapkan. Opsi ini direkomendasikan untuk penerapan baru atau skenario yang memerlukan cold start cepat, seperti yang melibatkan file model besar atau scale-out yang sering. Untuk menggunakan opsi ini, Anda harus terlebih dahulu menerapkan layanan cache warm-up.

3. Di bagian Environment Information, ubah Command to Run. Ganti jalur file model dalam perintah dari jalur sumber ke jalur akselerasi. Misalnya, saat menerapkan layanan LLM:

   vllm serve /mnt/models/Qwen3-8B-fast/

Setelah mengonfigurasi parameter, klik Deploy.

Masuk ke Konsol PAI. Pilih Wilayah di bagian atas halaman. Kemudian, pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).

Di halaman Elastic Algorithm Service (EAS), klik Deploy Service. Di bagian Custom Model Deployment, klik JSON Deployment.

Masukkan konfigurasi JSON. Contoh:

{
    "cloud": {
        "computing": {
            "instances": [
                {
                    "type": "ecs.gn6e-c12g1.3xlarge"
                }
            ]
        },
        "networking": {
            "security_group_id": "your-security-group-id",
            "vpc_id": "your-vpc-id",
            "vswitch_id": "your-vswitch-id"
        }
    },
    "containers": [
        {
            "image": "eas-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-eas/vllm:0.11.2-py312-mows0.5.1",
            "port": 8000,
            "script": "vllm serve /mnt/models/Qwen3-8B-fast/"
        }
    ],
    "metadata": {
        "cpu": 12,
        "disk": "30Gi",
        "gpu": 1,
        "instance": 1,
        "memory": 92000,
        "name": "vllm_test",
        "workspace_id": "your-workspace-id"
    },
    "storage": [
        {
            "mount_path": "/mnt/models/Qwen3-8B/",
            "oss": {
                "path": "oss://path/to/models/Qwen3-8B/",
                "readOnly": false
            }
        },
        {
            "cache": {
                "capacity": "10G",
                "path": "/mnt/models/Qwen3-8B/",
                "cacheroot_service": "your-cacheroot-service"
            },
            "mount_path": "/mnt/models/Qwen3-8B-fast/"
        }
    ]
}

Tabel berikut menjelaskan parameter yang terkait dengan akselerasi cache model. Untuk informasi tentang parameter lainnya, lihat penerapan JSON.

Klik Deploy.