パブリックリソースは、テストシナリオやトラフィックが変動するサービスに最適で、弾力性のあるリソースプールを使用してコストを最小限に抑えることができます。ただし、パブリックリソースの可用性は保証されません。パブリックリソースを使用してサービスをデプロイする場合、スポットインスタンスを使用してコストをさらに削減し、複数のインスタンスタイプを構成して、単一のインスタンスタイプの在庫不足によるデプロイメントリスクを軽減できます。このトピックでは、パブリックリソースを使用してモデルサービスをデプロイする方法について説明します。
課金
パブリックリソースは従量課金制で課金されます。詳細については、「Elastic Algorithm Service (EAS) の課金」をご参照ください。
課金開始のタイミング
特定のインスタンスタイプを使用してパブリックリソースにモデルサービスをデプロイすると、サービスがデプロイされ、[実行中] 状態になった後に課金が開始されます。
Platform for AI (PAI) は、パブリックリソースの各インスタンスノードに無料の 30 GiB のシステムディスクを提供します。システムディスクは従量課金で拡張できます。システムディスクの課金は作成直後に開始されます。
課金停止のタイミング
サービスとその課金を停止するには、[PAI EAS モデルオンラインサービス] ページの [サービスリスト] タブに移動します。対象サービスの [アクション] 列で、[停止] をクリックします。
不要な課金を避けるため、アイドル状態のモデルサービスは速やかに停止してください。
ビジネスの中断を防ぐため、停止したサービスが不要になったことを確認してください。
パブリックリソースを使用している場合、リソース不足によりインスタンスの作成が失敗すると、リソースが利用可能になり次第、システムは自動的に再試行します。不要になったモデルサービスは停止または削除してください。
障害がリソース不足によるものかどうかを判断するには、サービス名をクリックしてサービス詳細ページに移動し、インスタンスのステータスを確認します。
スポットインスタンス
スポットインスタンスは、上限価格を設定することでプリエンプティブルモードでサービスをデプロイできるインスタンスタイプであり、よりコスト効率の高いコンピューティングリソースを提供します。
メリット
コスト削減: スポットインスタンスの主な利点はその低価格です。価格は需要と供給に基づいてリアルタイムで変動し、通常、パブリックリソースの標準的な従量課金インスタンスと比較して大幅な割引が提供されます。
価格帯: スポットインスタンスには、保護期間ありとなしがあります。価格帯は、低いものから順に、保護期間なし < 1 時間の保護期間 < 標準インスタンスとなります。
取得条件
スポットインスタンスは、十分な在庫があり、入札価格が現在の市場価格以上である場合に取得されます。
リリース条件: インスタンスのリリースは、スポットインスタンスの保持期間の設定によって決まります。
1 時間の保護期間: このオプションは 1 時間の中断のない使用を保証します。この期間中、インスタンスはリリースされませんが、保護期間が終了すると自動的にリリースされる場合があります。
保護期間なし: 継続的な使用は保証されません。在庫や市場価格の変動により、インスタンスはいつでも自動的にリリースされる可能性があります。
課金モデル
スポットインスタンスは従量課金モデルを使用し、料金はリアルタイムの市場価格に基づいて計算されます。
複数のインスタンスタイプ
サービスをデプロイするときに単一のインスタンスタイプのみを指定すると、そのタイプの在庫が不足しているためにサービスのデプロイメントが失敗したり遅延したりする可能性があります。これに対処するため、EAS はデプロイメント中に複数のインスタンスタイプを選択することをサポートしています。システムは、構成で指定されたインスタンスタイプのリストを反復処理してリソースを起動し、単一のタイプが在庫切れになることによるデプロイメント失敗のリスクを大幅に軽減します。
インスタンスの使用順序
サービスを作成または更新するときに、スポットインスタンスや標準インスタンスなど、複数のインスタンスタイプを指定できます。デプロイメント中、システムは構成した順序でこれらのインスタンスを使用しようとします。スポットインスタンスの入札が失敗した場合やインスタンスタイプが在庫切れの場合、システムは自動的に構成リストの次のインスタンスタイプに進みます。
リソースのリリースと再割り当て
構成されたスポットインスタンスが在庫や市場価格の変動によりリリースされた場合、EAS はサービスの継続性を確保するために、構成に基づいて優先度が最も高い利用可能なリソースを自動的に再割り当てします。
システムディスクストレージの拡張
PAI は、パブリックリソースの各インスタンスノードに無料の 30 GiB のシステムディスクを提供します。より多くの容量が必要な場合、追加容量は使用量に基づいて課金されます。課金の詳細については、「Elastic Algorithm Service (EAS) の課金」をご参照ください。
システムディスクの最大サイズは 2000 GiB です。この制限を超えると、モデルサービスのデプロイメントは失敗します。
手順
コンソールでの構成
次の手順では、カスタムデプロイメントを例として使用します。
PAI コンソールにログインします。ページの上部でリージョンを選択します。次に、目的のワークスペースを選択し、[Elastic Algorithm Service (EAS)] をクリックします。
新しいサービスを作成するには: [推論サービス] タブで、[サービスのデプロイ] をクリックします。次に、[カスタムモデルのデプロイ] > [カスタムデプロイ] を選択します。
既存のサービスを更新するには: [推論サービス] タブで、更新するサービスを見つけ、[アクション] 列の [更新] をクリックします。
[リソース情報] セクションで、[リソースタイプ] を [パブリックリソース] に設定します。リソース仕様フィールドをクリックし、リストから目的の仕様を選択します。
(オプション) スポット入札を有効にします。[入札] スイッチをオンにし、入札価格を設定し、スポットインスタンスの保持期間を選択します。
説明[入札] スイッチは、スポットインスタンスをサポートするリソース仕様でのみ使用できます。
スポットインスタンスを使用する場合、入札が失敗した場合のデプロイメントの失敗を防ぐために、標準インスタンスタイプも構成することをお勧めします。
(オプション) 複数のインスタンスタイプを構成します。[追加] をクリックして、複数のインスタンスを構成します。
システムディスクサイズの構成。
EASCMD クライアントでの構成
EASCMD クライアントを使用してモデルサービスをデプロイするには、「EASCMD を使用してサービスをデプロイする」をご参照ください。
EASCMD クライアントで初めてデプロイする場合は、まずコンソールでパラメーターを構成して完全な JSON 構成を生成します。その後、[サービス構成] セクションで確認できます。
以下は、リソースデプロイメントの JSON パラメーターの例です。
{
"metadata": {
"name": "test",
"instance": 1,
"workspace_id": "your-workspace-id",
"disk": "40Gi"
},
"cloud": {
"computing": {
"instances": [
{
"type": "ecs.c8i.2xlarge",
"spot_price_limit": 1
},
{
"type": "ecs.c8i.xlarge"
}
],
"disable_spot_protection_period": true
}
},
"containers": [
{
"image": "eas-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-eas/python-inference:py39-ubuntu2004",
"script": "python app.py",
"port": 8000
}
]
}パラメーター | 説明 | ||
メタデータ | instance | サービス用に開始するインスタンスの数。この例の JSON ファイルでは、1 に設定されています。 | |
disk | システムディスクのサイズ。パブリックリソースグループは無料の 30 GiB を提供します。より多くの容量が必要な場合は、実際の使用量に基づいて課金されます。最大値は 2000 GiB です。 | ||
cloud | computing | instances | デプロイメント用のインスタンスタイプの優先順位付きリストを指定します。複数のタイプを構成できます。インスタンスタイプの入札が失敗した場合や在庫が不足している場合、システムは構成内の次のインスタンスタイプを順番に試行します。
|
disable_spot_protection_period | 次の値がサポートされています。
| ||
よくある質問
パブリックリソースが在庫切れの場合はどうすればよいですか?
パラメーター数が多い人気のモデルをデプロイする場合、パブリックリソースの在庫が不足することがあります。次のソリューションを検討してください。
別のリージョンに切り替える。リソースの可用性はリージョンによって異なります。別のリージョンに切り替えて、利用可能なパブリックリソースを見つけることができます。
重要Lingjun スポットリソース (ホワイトリストの承認は不要) を使用するには、ウランチャブリージョンへの切り替えを検討してください。これらのリソースはプリエンプトされる可能性があるため、入札価格に注意してください。
専用リソースグループを使用する。一部のインスタンスタイプは、パブリックリソースでは利用できません。EAS 専用マシンのサブスクリプションにアクセスして、EAS の専用リソースを購入できます。
重要従量課金の専用リソースの課金は、サービスをデプロイするために使用されるかどうかに関係なく、購入が成功した直後に開始されます。不要な課金を避けるため、未使用の従量課金インスタンスは速やかに削除してください。
参考
パブリックリソースはリソースの可用性を保証しません。サービスをデプロイするには、専用リソースを使用することをお勧めします。詳細については、「EAS リソースグループの使用」をご参照ください。
高速アクセスと低レイテンシーのために VPC を介してサービスに直接接続する必要がある場合、または EAS サービスが同じ VPC 内の他のクラウド製品にアクセスする必要がある場合は、「EAS からインターネットまたは内部ネットワークにアクセスする」をご参照ください。
パブリックリソースのログサービスを構成できます。パブリックリソースにデプロイされた EAS サービスによって生成されたログはログサービスに保存され、EAS サービスをリアルタイムでモニターできます。詳細については、「リソースグループの Simple Log Service の構成」をご参照ください。