公共リソースは、テストや、トラフィックが変動し弾力性のあるリソースプールから恩恵を受けるサービスに最適です。コストを最小限に抑えるのに役立ちますが、可用性は保証されません。公共リソースを使用してサービスをデプロイする場合、スポットインスタンスを使用してコストをさらに削減できます。また、単一のインスタンスタイプの在庫切れによるデプロイリスクを低減するために、複数のインスタンスタイプを設定することもできます。このトピックでは、公共リソースを使用してモデルサービスをデプロイする方法について説明します。
課金情報
公共リソースは、実際の使用量に基づいて課金されます。詳細については、「EAS の課金情報」をご参照ください。
課金開始
公共リソースは、マシンリソースまたはインスタンスタイプを使用したモデルサービスのデプロイをサポートしています。サービスがデプロイされ、[Running] 状態になると課金が開始されます。
PAI は、公共リソースグループ内の各マシンノードに 30 GiB の無料システムディスク容量を提供します。従量課金ベースでシステムディスクを拡張できます。システムディスクの課金は、正常に作成された後に開始されます。
課金停止
[Elastic Algorithm Service (EAS)] ページで、[Inference Service] タブに移動します。対象サービスの [Actions] 列で、[Stop] をクリックしてモデルサービスとその課金を停止します。
不要になったモデルサービスは、余計な料金を避けるために停止してください。
停止するサービスが不要であることを確認し、ビジネス上の損失を防いでください。
公共リソースを使用している場合、リソース不足によりインスタンスの作成に失敗すると、リソースが利用可能になり次第、システムは自動的に作成を再試行します。不要な場合は、このようなモデルサービスを停止または削除してください。
障害がリソース不足によるものかどうかを判断するには、サービス名をクリックしてサービス詳細ページに移動し、インスタンスのステータスを確認します。
基本概念
スポットインスタンス
スポットインスタンスは、プリエンプティブルモデルで最高価格を設定することでデプロイできるインスタンスタイプです。コスト効率の高い計算リソースを提供します。
利点
コスト削減：スポットインスタンスは低価格で提供されます。価格は需給に応じてリアルタイムで変動し、通常は公共リソースグループ内の通常の従量課金インスタンスよりも低くなります。
価格階層：スポットインスタンスには、保護期間ありとなしのものがあります。価格は、保護期間なし < 保護期間あり < 通常インスタンス の順に高くなります。
リソースのプリエンプション条件
スポットインスタンスの在庫が十分であり、入札価格が現在の市場価格以上であること。
リソースのリリース条件：これは、スポットインスタンスの保持期間の設定によって異なります。
インスタンスの使用時間を 1 時間に設定：これにより、1 時間の保護期間が提供されます。この期間中、インスタンスはリリースされません。保護期間が終了すると、自動的にリリースされる可能性があります。
特定の保護期間なし：継続的な使用は保証されません。在庫や市場価格の変動により、インスタンスが自動的にリリースされる可能性があります。
課金モデル
スポットインスタンスは従量課金モデルを使用します。料金はリアルタイムの市場価格に基づいて計算されます。
複数仕様インスタンス
サービスをデプロイする際に単一のインスタンスタイプのみを指定した場合、このタイプのリソースが不足してサービスを起動できないことがあります。この問題を解決するため、EAS のデプロイフェーズでは複数のインスタンスタイプを選択できます。システムは設定ファイルで提供されたインスタンスタイプのリストを走査してリソースを起動し、単一インスタンスタイプのリソース不足によるデプロイリスクを大幅に低減します。
インスタンスの使用順序
サービスの作成または更新時に、スポットインスタンスや通常インスタンスなど、複数のインスタンスタイプを指定できます。デプロイ中、システムは設定された順序でこれらのインスタンスを使用しようとします。あるインスタンスタイプの入札に失敗した場合や、インスタンスタイプが在庫切れの場合、システムは自動的にリスト内の次に利用可能なタイプに切り替えます。
リソースのリリースと再割り当て
設定されたスポットインスタンスが在庫や市場価格の変動によりリリースされた場合、EAS は設定ファイルに基づいて優先度が最も高い利用可能なリソースを再割り当てし、サービスの継続性を確保します。
システムディスク
PAI は、公共リソースグループ内の各マシンノードに 30 GiB の無料システムディスク容量を提供します。より多くの容量が必要な場合は、実際の使用量に基づいて課金されます。課金の詳細については、「Elastic Algorithm Service (EAS) の課金情報」をご参照ください。
システムディスクの最大サイズは 2000 GiB です。この制限を超えると、モデルサービスのデプロイは失敗します。
操作手順
コンソールを使用した設定
このセクションでは、カスタムデプロイを例に説明します。
PAI コンソールにログインします。ページ上部でリージョンを選択します。次に、目的のワークスペースを選択し、[Elastic Algorithm Service (EAS)] をクリックします。
サービスの作成：[Inference Service] タブで、[Deploy Service] をクリックします。次に、[Custom Model Deployment] > [Custom Deployment] を選択します。
サービスの更新：[Inference Service] タブで、サービスリストから対象のサービスを見つけます。[Actions] 列で [Update] をクリックします。
[Resource Information] セクションで、[Resource Type] を [Public Resource Group] に設定します。インスタンスタイプのフィールドをクリックし、リストから必要なインスタンスタイプを選択します。
(オプション) スポットインスタンスを有効にします。[Bidding] スイッチをオンにし、入札価格を設定して、保持期間を選択します。
説明[Bidding] スイッチは、スポットインスタンスをサポートするインスタンスタイプでのみ有効にできます。
スポットインスタンスを使用する場合は、入札が失敗した場合のデプロイ失敗を防ぐために、通常インスタンスも設定してください。
(オプション) 複数のインスタンスタイプを設定します。追加ボタンをクリックして、複数のインスタンスタイプを設定します。
システムディスクサイズを設定します。
JSON を使用した設定
コンソールでパラメーターを設定した後、[Service Configuration] セクションで JSON 設定を取得できます。JSON パラメーターを直接編集してサービスを設定することもできます。
次の例は、リソースデプロイに関連する JSON パラメーターを示しています：
{
"metadata": {
"name": "test",
"instance": 1,
"workspace_id": "your-workspace-id",
"disk": "40Gi"
},
"cloud": {
"computing": {
"instances": [
{
"type": "ecs.c8i.2xlarge",
"spot_price_limit": 1
},
{
"type": "ecs.c8i.xlarge"
}
],
"disable_spot_protection_period": true
}
},
"containers": [
{
"image": "eas-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-eas/python-inference:py39-ubuntu2004",
"script": "python app.py",
"port": 8000
}
]
}パラメーター | 説明 | ||
metadata | instance | サービス用に起動するレプリカ数。上記の JSON ファイルでは、1 に設定されています。 説明 EAS はシングルノード推論とマルチノード分散推論をサポートしています。
| |
disk | システムディスクサイズ。公共リソースグループは 30 GiB を無料で提供します。より多くの容量が必要な場合は、実際の使用量に基づいて課金されます。最大値は 2000 GiB です。 | ||
cloud | computing | instances | 許可されるインスタンスタイプを指定します。複数のタイプを設定できます。あるインスタンスタイプの入札に失敗した場合や、インスタンスタイプが在庫切れの場合、システムは設定された順序で次のインスタンスタイプを使用してサービスの作成を試みます。
|
disable_spot_protection_period | 次の値がサポートされています：
| ||
よくある質問
公共リソースが在庫切れの場合はどうすればよいですか？
パラメーターが多い人気のあるモデルをデプロイする場合、公共リソースが在庫切れになることがあります。次のソリューションを検討してください。
リージョンを切り替える。リソースの可用性はリージョンによって異なります。別のリージョンに切り替えて、利用可能な公共リソースを見つけることができます。
重要ウランチャブリージョンに切り替えて、Lingjun プリエンプティブルリソース (ホワイトリスト不要) を使用することを検討してください。プリエンプティブルリソースは回収される可能性があるため、入札価格を監視してください。
EAS リソースグループを使用する。一部のインスタンスタイプは、パブリックリソースとして利用できません。EAS Dedicated Resource Subscription に移動して専用 EAS リソースを購入します。
重要従量課金の専用リソースは、サービスをデプロイするために使用されているかどうかに関わらず、購入後すぐに課金が開始されます。不要な従量課金マシンは、余計な料金を避けるために速やかに削除してください。
関連ドキュメント
公共リソースはリソースの可用性を保証しません。専用リソースを使用してサービスをデプロイしてください。詳細については、「EAS リソースグループの使用」をご参照ください。
公共リソースに Simple Log Service を設定して、リアルタイムモニタリングとトラブルシューティングを有効にできます。詳細については、「リソースグループの Simple Log Service の設定」をご参照ください。