Platform For AI:ローカルディレクトリ向けメモリキャッシュの有効化

仕組み

EAS は、OSS、NAS、または Docker イメージからモデルファイルをローカルディレクトリにマウントします。詳細については、「ストレージのマウント」をご参照ください。モデルの読み込み、モデル切り替え、コンテナーのスケールアウトはすべてネットワーク帯域幅に依存します。Stable Diffusion のユースケースでは、推論リクエストがベースモデルと Low-Rank Adaptation (LoRA) モデル間で頻繁に切り替わります。各切り替え時に OSS または NAS からファイルが読み込まれるため、ネットワーク遅延が増加します。

メモリキャッシュはこの課題を解決します。以下の図にアーキテクチャを示します。

• ローカルディレクトリ内のモデルファイルがメモリにキャッシュされます。

• キャッシュは、最近使用されていない順（LRU）でファイルを削除する立ち退きポリシーを採用しており、インスタンス間でのファイル共有をサポートします。キャッシュされたファイルは、標準的なファイルシステムディレクトリとして表示されます。

• サービスはキャッシュされたファイルをメモリから直接読み取ります。アプリケーションコードの変更は不要です。

• サービス内のインスタンスはピアツーピア（P2P）ネットワークを共有します。サービスをスケールアウトする際、新規インスタンスは P2P ネットワーク経由で近隣の既存インスタンスのメモリからキャッシュファイルを読み込みます。これにより、クラスターのスケールアウトが高速化されます。

注意事項

• キャッシュディレクトリはデータ整合性を確保するため、読み取り専用です。

• モデルファイルを追加するには、ソースディレクトリに配置してください。ファイルは自動的にキャッシュディレクトリに反映されます。

• ソースディレクトリ内のモデルファイルを直接変更または削除しないでください。これにより、キャッシュ内にダーティデータが発生する可能性があります。

前提条件

開始する前に、以下の条件を満たしていることを確認してください。

• Platform for AI (PAI) ワークスペース（EAS へのアクセス権付与済み）

• OSS または NAS に格納されたモデルファイル

• キャッシュ用に十分なメモリを備えた適切なインスタンスタイプ（例： ml.gu7i.c16m60.1-gu30）

PAI コンソールでのメモリキャッシュの構成

本セクションでは、Stable Diffusion を例として、以下の構成を使用します。

• イメージ起動コマンド：./webui.sh --listen --port 8000 --skip-version-check --no-hashing --no-download-sd-model --skip-prepare-environment --api --filebrowser

• モデルファイルの OSS ディレクトリ：oss://path/to/models/

• モデルファイルのコンテナー内ディレクトリ（ソースディレクトリ）：/code/stable-diffusion-webui/data-slow

ソースディレクトリ /code/stable-diffusion-webui/data-slow にモデルファイルが格納されています。これらのファイルは、キャッシュディレクトリ /code/stable-diffusion-webui/data-fast にマウントされます。サービスは、ソースディレクトリではなく、このキャッシュディレクトリからモデルファイルを読み取ります。

{
    "cloud": {
        "computing": {
            "instances": [
                {
                    "type": "ml.gu7i.c16m60.1-gu30"
                }
            ]
        }
    },
    "containers": [
        {
            "image": "eas-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-eas/stable-diffusion-webui:4.2",
            "port": 8000,
            "script": "./webui.sh --listen --port 8000 --skip-version-check --no-hashing --no-download-sd-model --skip-prepare-environment --api --filebrowser --ckpt-dir /code/stable-diffusion-webui/data-fast"
        }
    ],
    "metadata": {
        "cpu": 16,
        "enable_webservice": true,
        "gpu": 1,
        "instance": 1,
        "memory": 60000,
        "name": "sdwebui_test"
    },
    "options": {
        "enable_cache": true
    },
    "storage": [
        {
            "cache": {
                "capacity": "20G",
                "path": "/code/stable-diffusion-webui/data-slow"
            },
            "mount_path": "/code/stable-diffusion-webui/data-fast"
        },
        {
            "mount_path": "/code/stable-diffusion-webui/data-slow",
            "oss": {
                "path": "oss://path/to/models/",
                "readOnly": false
            },
            "properties": {
                "resource_type": "model"
            }
        }
    ]
}