Platform For AI:Akselerasi cache model

Masuk ke Konsol PAI. Pilih Wilayah di bagian atas halaman. Kemudian, pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).

Klik Deploy Service. Di bagian Custom Model Deployment, klik Custom Deployment.

Parameter utama adalah sebagai berikut. Untuk detail parameter lainnya, lihat penerapan kustom.

1. Di bagian Environment Information, konfigurasikan Mount storage untuk memount file model ke direktori kontainer. Misalnya, untuk memount file dari OSS:

   • Uri: Jalur OSS tempat file model berada, seperti oss://path/to/models/.

   • Mount Path: Jalur di dalam kontainer tempat file dimount, seperti /mnt/data/.

   • Cache acceleration: Aktifkan opsi ini untuk mempercepat pembacaan model dan penjadwalan scale-out.

     • Cache Medium: Pilih berdasarkan jenis resource yang digunakan.

       • Memory: Menggunakan memori sebagai media cache. Tersedia untuk semua jenis resource.

       • Disk: Menggunakan disk sebagai media cache. Hanya didukung pada resource komputasi cerdas Lingjun.

     • Maximum Capacity: Kapasitas maksimum yang digunakan oleh file akselerasi, dalam satuan GB. Saat batas ini terlampaui, sistem akan menghapus data berdasarkan kebijakan LRU. Nilai minimum adalah 3G karena beberapa parameter konfigurasi lanjutan bawaan memerlukan kapasitas lebih dari 3G agar berlaku. Pastikan tersedia ruang memori atau disk yang cukup.

     • Accelerated Path: Jalur lokal untuk caching file. Contoh: /mnt/data-fast/.

     • Model Cache Prefetch Service (hanya didukung untuk OSS): Pilih layanan cache warm-up yang telah diterapkan. Opsi ini direkomendasikan untuk penerapan baru atau skenario yang memerlukan cold start cepat, seperti yang melibatkan file model besar atau scale-out yang sering. Untuk menggunakan opsi ini, Anda harus terlebih dahulu menerapkan layanan cache warm-up.

2. Di bagian Environment Information, ubah Command to Run. Ganti jalur file model dalam perintah dari jalur sumber ke jalur akselerasi. Misalnya, saat menerapkan layanan LLM:

   vllm serve /mnt/data-fast/

Setelah mengonfigurasi parameter, klik Deploy.

Masuk ke Konsol PAI. Pilih Wilayah di bagian atas halaman. Kemudian, pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).

Di halaman Elastic Algorithm Service (EAS), klik Deploy Service. Di bagian Custom Model Deployment, klik JSON Deployment.

Masukkan konfigurasi JSON. Tabel berikut menjelaskan parameter yang terkait dengan akselerasi cache model. Untuk informasi tentang parameter lainnya, lihat penerapan JSON.

Contoh JSON:

{
    "cloud": {
        "computing": {
            "instances": [
                {
                    "type": "ecs.gn6e-c12g1.3xlarge"
                }
            ]
        },
        "networking": {
            "security_group_id": "your-security-group-id",
            "vpc_id": "your-vpc-id",
            "vswitch_id": "your-vswitch-id"
        }
    },
    "containers": [
        {
            "image": "eas-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-eas/vllm:0.11.2-py312-mows0.5.1",
            "port": 8000,
            "script": "vllm serve /mnt/data-fast/"
        }
    ],
    "metadata": {
        "cpu": 12,
        "disk": "30Gi",
        "gpu": 1,
        "instance": 1,
        "memory": 92000,
        "name": "vllm_test",
        "workspace_id": "your-workspace-id"
    },
    "storage": [
        {
            "oss": {
                "path": "oss://path/to/models/",
                "readOnly": false
            },
            "mount_path": "/mnt/data/"
        },
        {
            "cache": {
                "capacity": "10G",
                "path": "/mnt/data/",
                "cacheroot_service": "your-cacheroot-service"
            },
            "mount_path": "/mnt/data-fast/"
        }
    ]
}

Klik Deploy.