Platform For AI:Aktifkan caching memori untuk direktori lokal

Cara kerja

EAS memasang file model ke direktori lokal dari OSS, NAS, atau image Docker. Untuk informasi lebih lanjut, lihat Mount storage. Pembacaan model, pergantian model, dan penskalaan kontainer semuanya bergantung pada lebar pita jaringan. Dalam skenario Stable Diffusion, permintaan inferensi sering kali berganti-ganti antara model dasar dan model Low-Rank Adaptation (LoRA). Setiap pergantian membaca file dari OSS atau NAS, yang meningkatkan latensi jaringan.

Caching memori mengatasi masalah ini. Diagram berikut menunjukkan arsitekturnya.

• File model dalam direktori lokal di-cache ke memori.

• Cache menggunakan kebijakan penggantian least recently used (LRU) dan mendukung berbagi file antar instans. File yang di-cache muncul sebagai direktori sistem file standar.

• Layanan membaca file yang di-cache langsung dari memori tanpa perlu mengubah kode bisnis.

• Instans dalam suatu layanan berbagi jaringan peer-to-peer (P2P). Saat Anda melakukan scale-out layanan, instans baru membaca file yang di-cache dari instans terdekat melalui jaringan P2P, sehingga mempercepat proses scale-out kluster.

Catatan penggunaan

• Direktori cache bersifat read-only untuk memastikan konsistensi data.

• Untuk menambahkan file model, letakkan file tersebut di direktori sumber. File tersebut akan tersedia secara otomatis di direktori cache.

• Jangan langsung memodifikasi atau menghapus file model di direktori sumber karena tindakan tersebut dapat menyebabkan data kotor di cache.

Prasyarat

Sebelum memulai, pastikan Anda telah memiliki:

• Ruang kerja Platform for AI (PAI) dengan akses EAS

• File model yang disimpan di OSS atau NAS

• Tipe instans yang sesuai dengan memori mencukupi untuk caching (misalnya, ml.gu7i.c16m60.1-gu30)

Konfigurasikan caching memori di Konsol PAI

Bagian ini menggunakan Stable Diffusion sebagai contoh dengan konfigurasi berikut:

• Perintah startup image: ./webui.sh --listen --port 8000 --skip-version-check --no-hashing --no-download-sd-model --skip-prepare-environment --api --filebrowser

• Direktori OSS untuk file model: oss://path/to/models/

• Direktori kontainer untuk file model (direktori sumber): /code/stable-diffusion-webui/data-slow

Direktori sumber /code/stable-diffusion-webui/data-slow menyimpan file model. File-file tersebut kemudian dipasang ke direktori cache /code/stable-diffusion-webui/data-fast. Layanan membaca file model dari direktori cache, bukan dari direktori sumber.

{
    "cloud": {
        "computing": {
            "instances": [
                {
                    "type": "ml.gu7i.c16m60.1-gu30"
                }
            ]
        }
    },
    "containers": [
        {
            "image": "eas-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-eas/stable-diffusion-webui:4.2",
            "port": 8000,
            "script": "./webui.sh --listen --port 8000 --skip-version-check --no-hashing --no-download-sd-model --skip-prepare-environment --api --filebrowser --ckpt-dir /code/stable-diffusion-webui/data-fast"
        }
    ],
    "metadata": {
        "cpu": 16,
        "enable_webservice": true,
        "gpu": 1,
        "instance": 1,
        "memory": 60000,
        "name": "sdwebui_test"
    },
    "options": {
        "enable_cache": true
    },
    "storage": [
        {
            "cache": {
                "capacity": "20G",
                "path": "/code/stable-diffusion-webui/data-slow"
            },
            "mount_path": "/code/stable-diffusion-webui/data-fast"
        },
        {
            "mount_path": "/code/stable-diffusion-webui/data-slow",
            "oss": {
                "path": "oss://path/to/models/",
                "readOnly": false
            },
            "properties": {
                "resource_type": "model"
            }
        }
    ]
}