EAS は、テストから本番環境までのさまざまなシナリオをサポートするために、パブリックリソース、EAS 専用リソースグループ、リソースクォータの 3 つのリソースタイプを提供します。このトピックでは、リソースタイプの選択方法、コンピューティングリソースとスケジューリングポリシーの設定方法について説明します。
リソースタイプの選択
リソースタイプ | ユースケース | 課金 | 機能比較 | |
テストや、トラフィックが変動するサービス (専用リソースとエラスティックリソースプールを組み合わせる場合) に最適です。 |
|
| ||
専用リソースグループ | 高いセキュリティや排他的なリソースを必要とするシナリオに適しています。希少なリソースを予約する場合に購入します。 |
|
| |
仮想リソースグループ | パブリックリソース、リソースクォータ、専用リソースグループなど、複数のリソースタイプを組み合わせた論理的なリソースグループです。 | スケジューリングされ、使用されたリソースに基づいて課金されます。 |
| |
リソースクォータ | 汎用コンピューティング 2.0 | 専用リソースとリソース分離を必要とする本番環境のシナリオに適しています。 |
|
|
大規模モデルや、インテリジェントコンピューティングのための RDMA 高速相互接続や CPFS ストレージなどの高性能ハードウェアを必要とするシナリオに最適です。 |
| |||
推奨事項：
テストと開発 ： 初期投資なしの従量課金で利用できるパブリックリソースを使用します。ピーク時にはリソースの可用性が制限される場合があります。詳細については、「パブリックリソースが不足している場合の対処方法」をご参照ください。
本番環境 (安定したトラフィック) ： EAS 専用リソースグループまたはリソースクォータ (汎用コンピューティング 2.0) を使用します。これらのオプションは、専用リソースと安定したパフォーマンスを提供し、コスト削減のためのサブスクリプション課金にも対応しています。
本番環境 (変動する トラフィック) ： 仮想リソースグループを使用します。専用リソースグループまたはリソースクォータでベースラインを確保し、パブリックリソースでトラフィックの急増に対応します。
大規模モデルまたは特殊なハードウェア ： 高性能ハードウェアにアクセスするには、リソースクォータ (Lingjun インテリジェントコンピューティング) を使用します。
インスタンスタイプの選択
モデルサイズと推論ワークロードに基づいて、CPU または GPU インスタンスタイプを選択します。
スポットインスタンス ： パブリックリソースを使用する場合、スポットモードを有効にし、入札上限を設定することで、通常のインスタンスよりも低価格でアイドルリソースを使用できます。スポットインスタンスは回収される可能性があるため、中断を許容できる推論タスクに最適です。
[GPU driver version] ： GPU インスタンスを選択する際、Features > Resource Configuration セクションで GPU ドライバーのバージョンを指定することで、特定のモデルやフレームワークのランタイム要件を満たすことができます。
システムディスクの設定
システムディスクには、ランタイムに生成される一時データが格納されます。デフォルト設定はリソースタイプによって異なります。
パブリックリソース ： 30 GiB の無料システムディスクが提供されます。30 GiB を超える使用量は、従量課金制で課金されます。
EAS リソースグループまたはリソースクォータ ： デフォルトのシステムディスクサイズは 60 GiB です。容量を変更した場合、ディスクはホストマシンから割り当てられます。
レプリカ数の設定
レプリカ数は、サービスを実行しているインスタンスの数です。単一障害点を避けるために、複数のレプリカを設定することを推奨します。
スケジューリングポリシーの設定
EAS リソースグループまたはリソースクォータを使用する場合、以下のポリシーを使用してリソースのスケジューリングを最適化できます。
[Elastic Resource Pool] ： 自己のリソースが不足している場合、システムは従量課金制のパブリックリソースを使用して自動的にスケールアウトし、トラフィックの急増に対応します。スケールイン時には、コストを削減するために、パブリックリソースを使用するインスタンスが最初にリリースされます。詳細については、「エラスティックリソースプール」をご参照ください。
[Specify Node Scheduling] ： このポリシーは、サービスが指定されたノードで実行されるように制限します。ノードが指定されていない場合、除外されていないすべてのノードがスケジューリングの対象となります。
[High-priority Resource Rescheduling] ： この機能を有効にすると、システムはコストを最適化するために、パブリックリソースなどの低優先度リソースから、専用リソースグループなどの高優先度リソースにインスタンスを定期的に移行します。これは、ローリングアップデートによってインスタンスが一時的にパブリックリソースにスケジュールされる場合や、コストを削減するために通常のインスタンスをスポットインスタンスに移行したい場合に役立ちます。
[Resource Affinity Scheduling] ： マルチノード分散推論のためにパブリックリソースグループの Lingjun インテリジェントコンピューティングリソースを使用する場合、Features セクションでリソースアフィニティスケジューリングを有効にすることを推奨します。これにより、RDMA 高速相互接続を確保するために、インスタンスが HPN Zone 内の指定されたハイパーノードネットワークドメインにスケジューリングされます。
GPU 共有と分散推論
GPU 共有 ： 単一の GPU カードの計算能力とメモリを複数のサービスインスタンス間で分割し、GPU 使用率を向上させ、デプロイコストを削減します。この機能は、小規模なモデルや推論負荷が低いワークロードに最適です。GPU 共有は、EAS リソースグループまたはリソースクォータを使用する場合にのみ有効にできます。
マルチノード分散推論 ： 単一のサービスインスタンスを複数のマシンにまたがってデプロイします。これにより、単一ノードのハードウェア制限を克服し、超大規模モデルのデプロイと運用をサポートします。
よくある質問
リソースの使用と制限
Q：1 vCPU、2 GB のインスタンスが利用できないのはなぜですか？
サービスの安定性を確保するため、1 vCPU、2 GB メモリのインスタンスタイプは利用できません。システムコンポーネントが各ノードのリソースの一部を消費するため、小規模なインスタンスではサービス用のリソースが不足します。
Q：PAI-EAS インスタンスごとにデプロイできるモデル数を推定するにはどうすればよいですか？
単一の PAI-EAS インスタンスにデプロイできるモデルの数は、CPU コア、GPU メモリ、システムメモリなど、各モデルのリソース要件によって異なります。事前定義された制限はありません。モデルの実際の要件に基づいてインスタンスタイプを選択するか、異なるモデルを別々のインスタンスにデプロイすることを推奨します。
Q：EAS でデプロイできるサービスの最大数はいくつですか？
デプロイできるサービスインスタンスの最大数は、残りの利用可能なリソースによって異なります。コンソールでリソースグループのマシンリストで、各マシンの残りの容量を確認できます。詳細については、「EAS リソースグループの使用」をご参照ください。
CPU コアに基づいてタスクを割り当てる場合、デプロイできるインスタンスの最大数は (合計 CPU コア数 - 1) / インスタンスあたりの使用コア数となります。
Q：RTX 4090 に匹敵する EAS インスタンスはどれですか？
ecs.gn8ia-2x.8xlarge は、RTX 4090 に近いパフォーマンスを提供します。
Q：デプロイされたモデルの最大同時実行数はいくつですか？
モデルサービスの最大同時実行数は、モデル、ユースケース、リソース設定など、複数の要因によって異なります。サービスのパフォーマンスを測定するために、ストレステストを実施することを推奨します。
専用リソースグループの管理
Q：専用リソースグループが長時間「スケールアウト中」の状態になっているのはなぜですか？
これは通常、現在のリージョンの容量が不足しているために発生します。サブスクリプションインスタンスの場合、容量不足で作成に失敗すると、システムは自動的に返金注文を作成し、元の支払い方法に支払いを返金します。
Q：サブスクリプションインスタンスを削除するにはどうすればよいですか？
不要になった EAS サブスクリプションベースの専用マシンを解約するには、ページに移動します。次のパラメーターを設定します。
タイプ ： [一部返金] を選択します。
製品名 ： [EAS Dedicated Machine Subscription] を選択します。
[Search] をクリックして解約したいリソースを見つけます。次に、[操作] 列の [リソースの解約] をクリックし、画面の指示に従ってプロセスを完了します。
Q：解約後、インスタンスデータは保持されますか？
いいえ、サービスインスタンスのデータは保持されません。
システムディスクの管理
Q：システムディスクのサイズを増やすにはどうすればよいですか？
次のいずれかの方法で、サービスのシステムディスクを設定または拡張できます。
コンソール設定 ： サービスの作成または更新時に、 セクションにある Configure a system disk で、[システムディスク] のサイズを設定します。
JSON 設定 ： サービスの JSON 設定ファイルで、
metadataフィールドのdiskの値を変更します。"metadata": {"disk": "40Gi"}
専用リソースグループを使用している場合、設定したシステムディスクサイズはノードのシステムディスクサイズを超えることはできません。より大きなシステムディスクが必要な場合は、現在のノードをリリースし、より大きなシステムディスクを持つノードを再購入する必要があります。