PAI EAS サービスの GPU スライシング設定 - PAI

モデルサービスをデプロイする際、コンピューティングリソースをより経済的かつ効率的に利用するために、Elastic Algorithm Service (EAS) は GPU チャンキング機能をサポートしています。この機能により、1 台の物理 GPU の計算能力および GPU メモリを複数のサービスインスタンス間で分割して利用できます。これにより、GPU の利用率が大幅に向上し、デプロイコストを削減できます。

適用範囲

以下のすべての条件を満たす場合にのみ、GPU チャンキングを設定できます。

リソースタイプ：EAS リソースグループまたはLingjun リソースクォータを使用していること。
インスタンスステータス：ご利用のリソースグループ内の GPU インスタンスが実行中（running）の状態であること。起動中、停止中、その他の状態であってはなりません。
説明
GPU インスタンスを初めて購入した場合、初期化には通常 8～10 分かかります。設定を行う前に、インスタンスが完全に準備完了になるまでお待ちください。

設定ガイド

サービスの作成時または更新時に GPU チャンキングを設定できます。

コンソールを使用する場合

PAI コンソールにログインします。ページ上部でリージョンを選択し、目的のワークスペースを選択してから、Elastic Algorithm Service (EAS) をクリックします。
新規サービスを作成するか、既存のサービスを更新して、サービス構成ページを開きます。

Resource Informationセクションで、以下の主要パラメーターを設定します。その他のパラメーターの詳細については、「カスタムデプロイメント」をご参照ください。

パラメーター	説明
Resource Type	EAS Resource GroupまたはResource Quotaを選択します。
GPU Slicing	このチェックボックスをオンにして、GPU チャンキングを有効にします。説明このオプションが表示されない場合は、「GPU チャンキングオプションが表示されないのはなぜですか？」をご確認ください。
Deployment Resources	Single-GPU Memory (GB)：必須項目です。各インスタンスが 1 つの GPU から必要とする GPU メモリ量を整数で入力します。システムは GPU メモリに基づいてインスタンスをスケジュールし、複数のインスタンスが 1 つの GPU を共有できるようにします。重要 ml で始まるリソース仕様の場合、単位はGBです。ecs で始まるリソース仕様の場合、単位はGiBです。 Computing Power per GPU (%)：任意項目です。各インスタンスが 1 つの GPU から必要とする GPU 計算能力の割合を 1～100 の整数で入力します。システムは GPU 計算能力に基づいてインスタンスをスケジュールし、複数のインスタンスが 1 つの GPU を共有できるようにします。 GPU あたりのメモリとGPU あたりの計算能力 (%)の設定は連携して動作します。たとえば、GPU あたりのメモリを 48 GB、GPU あたりの計算能力 (%) を 10% に設定すると、各インスタンスは最大で 48 GB の GPU メモリと最大で 10% の GPU 計算能力を使用します。

パラメーターの設定が完了したら、DeployまたはUpdateをクリックします。

ローカルクライアントを使用する場合

JSON 構成ファイルにおける GPU チャンキング関連フィールドの例を以下に示します。
```
{
    "metadata": {
        "gpu_core_percentage": 5,
        "gpu_memory": 20
    }
}
```
- gpu_memory：コンソール上のSingle-GPU Memory (GB)に対応します。
- gpu_core_percentage：コンソール上のComputing Power per GPU (%)に対応します。このパラメーターを指定する場合は、必ずgpu_memoryも併せて指定してください。指定しない場合、このパラメーターは無効になります。
重要
GPU メモリベースのスケジューリングを利用する場合は、gpuフィールドを設定しないか、0 に設定してください。gpuを 1 に設定すると、インスタンスは GPU 全体を使用します。この場合、gpu_memoryおよびgpu_core_percentageフィールドは無視されます。
「コマンド使用方法」をご参照ください。createコマンドまたはmodifyコマンドを使用して、サービスを作成するか、その構成を更新します。

よくある質問

Q: コンソールに GPU チャンキングオプションが表示されません。なぜですか？

以下の点をご確認ください。

リソースタイプとしてEAS リソースグループまたはLingjun リソースクォータを選択していることを確認します。
選択したリソースグループに GPU リソースが含まれているかどうかを確認します。GPU 列に 0 と表示されている場合、GPU リソースは利用できません。
GPU インスタンスのステータスが実行中（running）であることを確認します。起動中、停止中、その他の状態であってはなりません。リソースが初期化中の場合は、完全に準備完了になるまでお待ちください。