Platform For AI:ローカルディレクトリのメモリキャッシュを有効にする

PAI コンソールでメモリキャッシュを構成する

1. PAI コンソール にログインします。 上部のナビゲーションバーでリージョンを選択します。 次に、目的のワークスペースを選択し、[elastic Algorithm Service (EAS) に入る] をクリックします。

2. [サービスのデプロイ] をクリックし、[カスタムモデルデプロイ] セクションで [カスタムデプロイ] を選択します。

3. [カスタムデプロイ] ページで、次の表に示すパラメータを構成します。 その他のパラメータについては、「コンソールでのカスタムデプロイのパラメータ」をご参照ください。

   パラメータ		説明	例
   環境情報	モデル設定	[OSS] マウントモードを選択します。	Uri: oss://path/to/models/ マウントパス: /code/stable-diffusion-webui/data-slow
   	コマンド	使用するイメージまたは記述するコードに基づいて、起動パラメータを構成します。	Stable Diffusion サービスの場合、--ckpt-dir パラメータを起動コマンドに追加し、キャッシュディレクトリに設定する必要があります。 ./webui.sh --listen --port 8000 --skip-version-check --no-hashing --no-download-sd-model --skip-prepare-environment --api --filebrowser --ckpt-dir /code/stable-diffusion-webui/data-fast
   機能	メモリキャッシュ	[メモリキャッシュ] をオンにし、次のパラメータを構成します。 最大メモリ使用量: キャッシュされたファイルが使用する最大メモリ。 単位: GB。 最大メモリ使用量を超えると、LRU ポリシーを使用して特定のキャッシュファイルが削除されます。 ソースパス: ディレクトリは、キャッシュされたファイルが保存されているソースディレクトリ、OSS または NAS 内のキャッシュされたファイルがマウントされているコンテナ内のキャッシュディレクトリ、キャッシュディレクトリのサブディレクトリ、コンテナ内の共通ファイルディレクトリのいずれかになります。 マウントパス: キャッシュされたファイルがマウントされるキャッシュディレクトリ。 サービスはこのキャッシュディレクトリからファイルを読み取る必要があります。	最大メモリ使用量: 20 GB ソースパス: /code/stable-diffusion-webui/data-slow マウントパス: /code/stable-diffusion-webui/data-fast

4. パラメータを構成した後、[デプロイ] をクリックします。

オンプレミスクライアントでメモリキャッシュを構成する

1. 構成ファイルを準備します。 サンプルコード:

   {
    "cloud": {
        "computing": {
            "instances": [
                {
                    "type": "ml.gu7i.c16m60.1-gu30"
                }
            ]
        }
    },
    "containers": [
        {
            "image": "eas-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-eas/stable-diffusion-webui:4.2",
            "port": 8000,
            "script": "./webui.sh --listen --port 8000 --skip-version-check --no-hashing --no-download-sd-model --skip-prepare-environment --api --filebrowser --ckpt-dir /code/stable-diffusion-webui/data-fast" // Stable Diffusion サービスの場合、--ckpt-dir パラメータを起動コマンドに追加し、キャッシュディレクトリに設定する必要があります。
        }
    ],
    "metadata": {
        "cpu": 16,
        "enable_webservice": true,
        "gpu": 1,
        "instance": 1,
        "memory": 60000,
        "name": "sdwebui_test"
    },
    "options": {
        "enable_cache": true
    },
    "storage": [
        {
            "cache": {
                "capacity": "20G", // キャッシュされたファイルが使用する最大メモリ。 単位: GB。 最大メモリ使用量を超えると、LRU ポリシーを使用して特定のキャッシュファイルが削除されます。
                "path": "/code/stable-diffusion-webui/data-slow" // キャッシュされたファイルのソースディレクトリ。 ディレクトリは、コンテナ内のキャッシュディレクトリ（OSS または NAS 内のキャッシュされたファイルがマウントされている）、キャッシュディレクトリのサブディレクトリ、コンテナ内の共通ファイルディレクトリのいずれかになります。
            },
            "mount_path": "/code/stable-diffusion-webui/data-fast" // キャッシュされたファイルがマウントされるキャッシュディレクトリ。 このディレクトリ内のファイルは、ソースディレクトリ内のファイルと同じです。 サービスはこのディレクトリからファイルを読み取る必要があります。
        },
        {
            "mount_path": "/code/stable-diffusion-webui/data-slow",
            "oss": {
                "path": "oss://path/to/models/",
                "readOnly": false
            },
            "properties": {
                "resource_type": "model"
            }
        }
    ]
}

次の表にパラメータを示します。 その他のパラメータについては、「モデルサービスのパラメータ」をご参照ください。

手順 2: モデルサービスをデプロイする

モデルサービスをデプロイし、モデルサービスのメモリキャッシュを有効にします。