EAS は、テストから本番までのさまざまなシナリオをサポートするために、パブリックリソース、EAS リソースグループ、リソースクォータの 3 つのリソースタイプを提供します。このトピックでは、リソースタイプの選択方法、およびコンピューティングリソースとスケジューリングポリシーの設定方法について説明します。
リソースタイプの選択
リソースタイプ | ユースケース | 課金 | 機能比較 | |
テスト、またはトラフィックが変動するサービスに最適です (専用リソースと弾性リソースプールを組み合わせる場合)。 |
|
| ||
専用リソースグループ | 高いセキュリティや排他的なリソースを必要とするシナリオに適しています。専用リソースグループを購入して、希少なリソースを予約します。 |
|
| |
仮想リソースグループ | パブリックリソース、リソースクォータ、専用リソースグループなど、複数のリソースタイプを組み合わせた論理的なリソースグループです。 | 課金は、スケジューリングおよび使用されたリソースに基づきます。 |
| |
リソースクォータ | General-purpose computing 2.0 | 専用リソースとリソース分離を必要とする本番シナリオに適しています。 |
|
|
大規模モデルや、RDMA 高速相互接続、インテリジェントコンピューティング用の CPFS ストレージなどの高性能ハードウェアを必要とするシナリオに最適です。 |
| |||
推奨事項：
テストと開発：従量課金で初期投資が不要な パブリックリソース を使用することを推奨します。ピークタイムにはリソースの可用性が制限される場合があります。詳細については、「パブリックリソースが不足している場合の対処方法」をご参照ください。
本番環境 (安定したトラフィック)：EAS 専用リソースグループ またはリソースクォータ (General-purpose computing 2.0) を使用することを推奨します。これらのオプションは専用リソースと安定したパフォーマンスを提供し、サブスクリプション課金に対応しているためコストを削減できます。
本番環境 (変動するトラフィック)：仮想リソースグループを使用することを推奨します。専用リソースグループまたはリソースクォータでベースラインを提供し、パブリックリソースでトラフィックの急増に対応します。
大規模モデルまたは特殊なハードウェア：リソースクォータ (Lingjun AI 計算) を使用して、高性能ハードウェアにアクセスすることを推奨します。
インスタンスタイプの選択
モデルサイズと推論ワークロードに基づいて、CPU または GPU インスタンスタイプを選択します。
スポットインスタンス：パブリックリソースを使用する場合、スポットモードを有効にし、入札上限を設定することで、通常のインスタンスよりも低価格でアイドルリソースを使用できます。スポットインスタンスは回収される可能性があるため、中断されても問題ない推論タスクに最適です。
[GPU ドライバー]：GPU インスタンスを選択する際、サービス機能の設定 > リソース設定 セクションで GPU ドライバーバージョンを指定して、特定のモデルやフレームワークのランタイム要件を満たすことができます。
システムディスクの設定
システムディスクには、ランタイムに生成される一時データが格納されます。デフォルトの設定は、リソースタイプによって異なります：
パブリックリソース：30 GiB の無料システムディスクが提供されます。30 GiB を超える使用量は、従量課金で請求されます。
EAS リソースグループまたはリソースクォータ：デフォルトのシステムディスクサイズは 60 GiB です。容量を変更した場合、ディスクはホストマシンから割り当てられます。
レプリカ数の設定
レプリカ数は、サービスを実行しているインスタンスの数です。単一障害点を避けるために、複数のレプリカを設定することを推奨します。
スケジューリングポリシーの設定
EAS リソースグループまたはリソースクォータを使用する場合、以下のポリシーを使用してリソーススケジューリングを最適化できます：
[スケーラブルリソースプール]：自己所有のリソースが不足した場合、システムは従量課金のパブリックリソースを使用して自動的にスケールアウトし、トラフィックの急増に対応します。スケールイン時には、コストを削減するためにパブリックリソースを使用しているインスタンスが最初に解放されます。詳細については、「弾性リソースプール」をご参照ください。
[ノードスケジューリングの指定]：このポリシーは、サービスが指定されたノードで実行されるように制限します。ノードが指定されていない場合、除外されていないすべてのノードがスケジューリングの対象となります。
[高優先度リソースのデスケジューリング]：この機能を有効にすると、システムは定期的に、パブリックリソースなどの低優先度リソースから専用リソースグループなどの高優先度リソースにインスタンスを移行し、コストを最適化します。これは、ローリングアップデートによってインスタンスが一時的にパブリックリソースにスケジュールされた場合や、コストを削減するために通常のインスタンスをスポットインスタンスに移行したい場合に役立ちます。
[リソースアフィニティスケジューリング]：パブリックリソースグループの Lingjun AI 計算リソースをマルチノード分散推論に使用する場合、サービス機能の設定 セクションでリソースアフィニティスケジューリングを有効にすることを推奨します。これにより、RDMA 高速相互接続を保証するために、インスタンスが HPN Zone 内の指定したハイパーノードネットワークドメインにスケジュールされます。
GPU 共有と分散推論
GPU 共有：単一の GPU カードの計算能力とメモリを複数のサービスインスタンス間で分割し、GPU 使用率を向上させ、デプロイコストを削減します。この機能は、小規模なモデルや推論負荷の低いワークロードに最適です。GPU 共有は、EAS リソースグループまたはリソースクォータを使用している場合にのみ有効にできます。
マルチノード分散推論：単一のサービスインスタンスを複数のマシンにまたがってデプロイします。これにより、単一ノードのハードウェア制限を克服し、超大規模モデルのデプロイと運用をサポートします。
よくある質問
リソースの使用状況と制限
Q：1 vCPU、2 GB のインスタンスが利用できないのはなぜですか？
1 vCPU、2 GB メモリのインスタンスタイプは、サービスの安定性を確保するために利用できません。システムコンポーネントが各ノードのリソースの一部を消費するため、小規模なインスタンスではサービス用のリソースが不足します。
Q：PAI-EAS インスタンスごとにデプロイできるモデル数を見積もるには、どうすればよいですか？
単一の PAI-EAS インスタンスにデプロイできるモデルの数は、CPU コア、GPU メモリ、システムメモリなど、各モデルのリソース要件によって異なります。事前に定義された制限はありません。モデルの実際のニーズに基づいてインスタンスタイプを選択するか、異なるモデルを別々のインスタンスにデプロイすることを推奨します。
Q：EAS にデプロイできるサービスの最大数はいくつですか？
デプロイできるサービスインスタンスの最大数は、残りの利用可能なリソースによって異なります。コンソールのリソースグループのマシンリストで、各マシンの残りのキャパシティを確認できます。詳細については、「EAS リソースグループの使用」をご参照ください。
CPU コアに基づいてタスクを割り当てる場合、デプロイできるインスタンスの最大数は (合計 CPU コア数 - 1) / インスタンスあたりの使用コア数 です。
Q：RTX 4090 に匹敵する EAS インスタンスはどれですか？
ecs.gn8ia-2x.8xlarge は、RTX 4090 に近いパフォーマンスを提供します。
Q：デプロイされたモデルの最大同時実行数はいくつですか？
モデルサービスの最大同時実行数は、モデル、ユースケース、リソース設定など、複数の要因によって異なります。サービスのパフォーマンスを測定するために、ストレステストを実施することを推奨します。
専用リソースグループの管理
Q：専用リソースグループが長期間「スケールアウト中」の状態になるのはなぜですか？
これは通常、現在のリージョンのキャパシティが不足しているために発生します。サブスクリプションインスタンスの場合、キャパシティ不足により作成に失敗すると、システムは自動的に返金注文を作成し、元の支払い方法に支払いを返金します。
Q：サブスクリプションインスタンスを削除するにはどうすればよいですか？
Alibaba Cloud リソースのサブスクリプション解除ページに移動して、不要になった EAS サブスクリプションベースの専用マシンのサブスクリプションを解除してください。次のパラメーターを設定します：
Type: [Partial refund] を選択してください。
Product name: [EAS Dedicated Machine Subscription] を選択してください。
[Search] をクリックして、サブスクリプションを解除するリソースを検索してください。次に、[Actions] 列の [Unsubscribe resource] をクリックし、画面の指示に従ってプロセスを完了してください。
Q：サブスクリプションを解除した後、インスタンスのデータは保持されますか？
いいえ、サービスインスタンスのデータは保持されません。
システムディスクの管理
Q：システムディスクのサイズを増やすにはどうすればよいですか？
次のいずれかの方法で、サービスのシステムディスクを設定または拡張できます：
コンソールでの設定：サービスの作成または更新時に、 セクションで、システムディスクの設定 の下にある [System Disk] サイズを設定してください。
JSON 設定：サービスの JSON 設定ファイルで、
metadataフィールドのdisk値を変更してください。"metadata": {"disk": "40Gi"}
専用リソースグループを使用している場合、設定したシステムディスクサイズはノードのシステムディスクサイズを超えることはできません。より大きなシステムディスクが必要な場合は、現在のノードをリリースし、より大きなシステムディスクを持つノードを再購入する必要があります。