Platform For AI：Aktifkan caching memori untuk direktori lokal

Konfigurasikan caching memori di konsol PAI

1. Masuk ke konsol PAI. Pilih wilayah di bilah navigasi atas. Lalu, pilih ruang kerja yang diinginkan dan klik Enter Elastic Algorithm Service (EAS).

2. Klik Deploy Service dan pilih Custom Deployment di bagian Custom Model Deployment.

3. Di halaman Custom Deployment, konfigurasikan parameter yang dijelaskan dalam tabel berikut. Untuk informasi tentang parameter lainnya, lihat Parameter untuk penyebaran kustom di konsol.

   Parameter		Deskripsi	Contoh
   Environment Information	Model Settings	Pilih mode pemasangan OSS.	Uri: oss://path/to/models/ Path Pemasangan: /code/stable-diffusion-webui/data-slow
   	Command	Konfigurasikan parameter startup berdasarkan gambar yang Anda gunakan atau kode yang Anda tulis.	Untuk layanan Stable Diffusion, Anda harus menambahkan parameter --ckpt-dir ke perintah startup dan atur ke direktori cache. ./webui.sh --listen --port 8000 --skip-version-check --no-hashing --no-download-sd-model --skip-prepare-environment --api --filebrowser --ckpt-dir /code/stable-diffusion-webui/data-fast
   Features	Memory Caching	Aktifkan Memory Caching dan konfigurasikan parameter berikut: Maximum Memory Usage: memori maksimum yang digunakan oleh file yang disimpan. Unit: GB. Saat penggunaan memori maksimum terlampaui, kebijakan LRU digunakan untuk menghapus file tertentu yang disimpan. Source Path: Direktori dapat berupa salah satu direktori berikut: direktori sumber tempat file yang disimpan disimpan, direktori cache dalam kontainer tempat file yang disimpan di OSS atau NAS dipasang, subdirektori dari direktori cache, dan direktori file umum dalam kontainer. Mount Path: direktori cache tempat file yang disimpan dipasang. Layanan harus membaca file dari direktori cache.	Maximum Memory Usage: 20 GB Source Path: /code/stable-diffusion-webui/data-slow Mount Path: /code/stable-diffusion-webui/data-fast

4. Setelah Anda mengonfigurasi parameter, klik Deploy.

Konfigurasikan caching memori pada klien lokal

1. Siapkan file konfigurasi. Contoh kode:

   {
    "cloud": {
        "computing": {
            "instances": [
                {
                    "type": "ml.gu7i.c16m60.1-gu30"
                }
            ]
        }
    },
    "containers": [
        {
            "image": "eas-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-eas/stable-diffusion-webui:4.2",
            "port": 8000,
            "script": "./webui.sh --listen --port 8000 --skip-version-check --no-hashing --no-download-sd-model --skip-prepare-environment --api --filebrowser --ckpt-dir /code/stable-diffusion-webui/data-fast"
        }
    ],
    "metadata": {
        "cpu": 16,
        "enable_webservice": true,
        "gpu": 1,
        "instance": 1,
        "memory": 60000,
        "name": "sdwebui_test"
    },
    "options": {
        "enable_cache": true
    },
    "storage": [
        {
            "cache": {
                "capacity": "20G",
                "path": "/code/stable-diffusion-webui/data-slow"
            },
            "mount_path": "/code/stable-diffusion-webui/data-fast"
        },
        {
            "mount_path": "/code/stable-diffusion-webui/data-slow",
            "oss": {
                "path": "oss://path/to/models/",
                "readOnly": false
            },
            "properties": {
                "resource_type": "model"
            }
        }
    ]
}

Tabel berikut menjelaskan parameter. Untuk informasi tentang parameter lainnya, lihat Parameter layanan model.

Langkah 2: Sebarkan layanan model

Sebarkan layanan model dan aktifkan caching memori untuk layanan model.