Platform For AI:EAS の概要

柔軟なリソースとコスト管理

• 異種混合ハードウェアのサポート：CPU、GPU、および専用の AI アクセラレーターインスタンスをサポートし、さまざまなモデルのパフォーマンスニーズに対応します。

• コスト最適化： プリエンプティブルインスタンスをサポートし、コンピューティングコストを大幅に削減します。 スケジュールされたスケーリングを使用すると、ビジネスサイクルに基づいてポリシーを定義し、リソース割り当てを正確に制御できます。

• 伸縮自在なリソースプール： 専用リソースグループが完全に使用されると、EAS は新しいインスタンスを自動的にパブリックリソースグループにスケジュールし、コスト管理とサービスの安定性のバランスを取ります。

安定性と高可用性

• 伸縮自在なスケーリング：リアルタイムのワークロードに基づいてサービス レプリカの数を自動的に調整し、予測不能なトラフィックスパイクに対応し、リソースの過小利用やサービスの過負荷を防ぎます。

• 高可用性メカニズム：自動障害回復により、サービスの継続性を確保します。 専用リソースは物理的に分離されているため、リソースのプリエンプションのリスクが排除されます。

• 安全なリリース： カナリアリリースをサポートし、トラフィックの一部を新しいバージョンに誘導して検証できます。 また、 トラフィックミラーリングもサポートしており、本番トラフィックをテストサービスにコピーすることで、実際のユーザーリクエストに影響を与えることなく信頼性を検証できます。

効率的なデプロイと O&M

• ワンクリック負荷テスト：負荷を動的に増加させ、サービスのパフォーマンス限界を特定します。 秒単位のモニタリングデータと負荷テストレポートをリアルタイムで表示し、サービスの能力を迅速に評価できます。

• リアルタイムモニタリング：QPS、応答時間、CPU 使用率などの主要メトリクスを リアルタイムでモニタリングします。 また、サービスモニタリングアラートを有効化して、サービスの健全性を常に把握することもできます。

• 複数のデプロイ方法： ランタイムイメージ (推奨) または プロセッサデプロイを使用してサービスをデプロイし、さまざまな技術スタックに対応します。

多様な推論モード

• リアルタイム同期推論：高スループットと低レイテンシーが特徴で、検索レコメンデーションや対話型ボットなど、レイテンシーに敏感なシナリオに適しています。

• 準リアルタイム非同期推論：組み込みの メッセージキューを含み、テキストから画像への生成やビデオ処理などの長時間実行タスクに最適です。キューのバックログに基づく 自動スケーリングをサポートし、リクエストの滞留を防ぎます。

• オフラインバッチ推論：音声データのバッチ変換など、応答時間に敏感でないバッチ処理シナリオに適しています。また、プリエンプティブルインスタンスをサポートし、コストを削減します。

ステップ 1：リソースとファイルの準備

1. 推論リソースの準備：モデルのサイズ、同時実行のニーズ、予算に基づいて、適切な EAS リソースタイプを選択します。 リソースの選択と購入に関するガイダンスについては、「EAS デプロイリソースの概要」をご参照ください。

   説明

   パブリックリソースは事前に購入することなく直接使用できます。EAS リソースグループやリソースクォータなど、他のリソースタイプは使用前に購入する必要があります。

2. ファイルの準備：トレーニング済みのモデル、処理コード、依存関係を Object Storage Service (OSS) などのクラウドストレージサービスにアップロードします。 その後、ストレージマウントを使用して、サービスからこれらのファイルにアクセスできます。

ステップ 3：サービスの呼び出しと負荷テスト

• Web アプリケーション：サービスを AI Web アプリケーションとしてデプロイした場合、ブラウザで対話型ページを直接開いてテストできます。

• API サービス：オンラインデバッグ機能を使用してサービスの機能を検証したり、API を同期的または非同期的に呼び出したりできます。詳細については、「サービス呼び出し」をご参照ください。

• サービス負荷テスト：組み込みの ワンクリック負荷テストツールを使用して、負荷がかかった状態でのサービスのパフォーマンスをテストできます。詳細については、「サービス負荷テスト」をご参照ください。

ステップ 4：サービスのモニタリングと管理

1. モニタリングとアラート： [Inference Services list] で、サービスの実行ステータスとリソースグループ情報を表示し、リソースグループでフィルタリングできます。 サービスの健全性をリアルタイムで把握するために、サービスモニタリングアラートを有効化することを推奨します。

2. 伸縮自在なスケーリング：ビジネス要件に基づいて 伸縮自在なスケーリングまたは スケジュールされたスケーリングポリシーを設定し、コンピューティングリソースを動的に管理します。

3. サービス更新： [Actions] 列で [Update] をクリックして、新しいバージョンをデプロイします。 更新が完了したら、 [version information] を表示したり、バージョンを切り替えたりできます。

   警告

   サービスの更新は一時的なサービス中断を引き起こし、依存するリクエストが失敗する可能性があります。 注意して進めてください。

4. サービス移行：EAS サービスの設定をリージョン間で移行するには、EASCMD コマンドラインツールを使用して、ソースリージョンからサービス設定をエクスポートします。 その後、エクスポートした設定を使用して、宛先リージョンに新しいサービスを作成できます。

Q：専用リソースとパブリックリソースの比較

• パブリックリソース：コストを重視する開発、テスト、またはパフォーマンスの変動を許容できる小規模なアプリケーションに適しています。 低コストですが、ピーク時にはリソースの競合が発生する可能性があります。

• 専用リソース：高い安定性とパフォーマンスを必要とする本番環境に最適です。 物理的に分離されているため、リソースのプリエンプションのリスクが排除されます。伸縮自在なリソースプール機能により、専用キャパシティが枯渇した際にワークロードをパブリックリソースにオーバーフローさせることができ、ピーク時のコストと安定性のバランスを取ります。 在庫が限られているインスタンスタイプを予約するには、それらを専用リソースとして購入する必要があります。

Q：EAS とセルフマネージドサービスの比較

EAS は マネージド O&M を提供します。 リソースのスケジューリング、障害回復、モニタリングを自動的に処理し、 伸縮自在なスケーリングやカナリアリリースなどの組み込み機能も含まれています。これにより、開発者はモデル開発に集中でき、運用オーバーヘッドを削減し、市場投入までの時間を短縮できます。