GPU スライシングは、物理 GPU のコンピューティング能力とメモリを複数の Elastic Algorithm Service (EAS) サービスインスタンスに分割して割り当てることで、リソース利用率を向上させ、デプロイメントコストを削減します。
前提条件
GPU スライシングを使用するには、以下のすべての条件を満たしている必要があります。
-
リソースタイプ：EAS リソースグループ または Lingjun リソースクォータ。
-
インスタンスのステータス：リソースグループ内の GPU インスタンスが 実行中（起動中や停止中ではない）である必要があります。
説明初回の GPU プロビジョニングには 8～10 分かかります。次の操作に進む前に、インスタンスが準備完了になるまでお待ちください。
構成
サービスの作成時または更新時に GPU スライシングを構成します。
コンソール
-
PAI コンソール にログインします。ページ上部でリージョンを選択し、目的のワークスペースを選択してから、Elastic Algorithm Service (EAS) をクリックします。
-
サービスを作成または更新して、その構成ページを開きます。
-
Resource Information セクションで、以下のパラメーターを構成します。その他のパラメーターについては、「カスタムデプロイメント」をご参照ください。
パラメーター
説明
Resource Type
EAS Resource Group または Resource Quota を選択します。
GPU Slicing
GPU スライシングを有効化します。
説明このオプションが表示されない場合は、「コンソールに「GPU スライシング」オプションが表示されないのはなぜですか？」をご確認ください。
Deployment Resources
-
Single-GPU Memory (GB)：必須項目です。各インスタンスに割り当てる GPU メモリ量を指定します。整数値で指定してください。インスタンスのスケジューリングに使用されます。
重要mlリソース仕様の場合、メモリ単位は GB です。ecsリソース仕様の場合、単位は GiB です。 -
Computing Power per GPU (%)：任意項目です。各インスタンスに割り当てるコンピューティング能力の割合を 1～100 の整数で指定します。インスタンスのスケジューリングに使用されます。
両方の設定は同時に適用されます。たとえば、メモリを 48 GB、コンピューティング能力を 10% に設定すると、各インスタンスは GPU メモリ 48 GB およびコンピューティング能力の 10% に制限されます。
-
-
パラメーターを構成したら、Deploy または Update をクリックします。
CLI
-
JSON 設定ファイルにおける GPU スライシング関連フィールドは以下のとおりです。
{ "metadata": { "gpu_core_percentage": 5, "gpu_memory": 20 } }-
gpu_memory: はコンソール上の Single-GPU Memory (GB) に対応します。
-
gpu_core_percentage: はコンソール上の Computing Power per GPU (%) に対応します。gpu_memory が指定されている場合にのみ有効となり、それ以外の場合は無視されます。
重要メモリベースのスケジューリングを行う場合は、gpu フィールドを省略するか、0 に設定してください。gpu を 1 に設定すると、GPU 全体が排他的に割り当てられ、gpu_memory および gpu_core_percentage フィールドは無視されます。
-
-
コマンドリファレンス の
createコマンドまたはmodifyコマンドを使用して、サービスをデプロイまたは更新します。
よくある質問
Q: GPU スライシングオプションが表示されないのはなぜですか？
以下の手順でトラブルシューティングを行ってください。
-
リソースタイプ が EAS リソースグループ または Lingjun リソースクォータ に設定されていることを確認します。
-
リソースグループに GPU リソースが含まれていること（GPU 列の値が 0 より大きいこと）を確認します。
-
GPU インスタンスが 実行中 であり、起動中や停止中などの他の状態になっていないことを確認します。初期化中の場合は、準備完了になるまでお待ちください。