Platform For AI:EAS 概要

柔軟なリソースおよびコスト管理

EAS はフルマネージドのモデルデプロイおよび推論サービスであり、ユーザーが自ら調達・管理する従来型サーバーではありません。Alibaba Cloud の弾力的計算リソース（ECS インスタンスや GPU インスタンスなど）上で動作するため、基盤となるサーバーを購入・管理する必要はありません。

• 異種ハードウェアサポート：CPU、GPU、および GU や PPU などの専用 AI アクセラレータインスタンスをサポートし、さまざまなモデルのパフォーマンス要件に対応します。サービスをデプロイする際には、モデルの要件に基づいて特定のリソース仕様を選択できます。

• コスト最適化：プリエンプティブルインスタンス をサポートして計算コストを大幅に削減します。スケジュールされたスケーリング を活用すれば、ビジネスサイクルに基づいたポリシーを定義し、リソース割り当てをきめ細かく制御できます。

• 弾力的リソースプール：専用リソース グループが完全に使用されている場合、EAS は自動的に新しいインスタンスをパブリックリソースグループにスケジューリングし、コスト管理とサービス安定性のバランスを取ります。

安定性と高可用性

• 弾力的スケーリング：リアルタイムのワークロードに基づいてサービスのレプリカ数を自動調整し、予測不能なトラフィックスパイクにも対応します。これにより、リソースの未使用やサービスの過負荷を防止します。

• 高可用性メカニズム：自動障害復旧によりサービス継続性を確保します。専用リソース は物理的に分離されており、リソース競合のリスクを排除します。

• 安全なリリース：カナリアリリース をサポートしており、新バージョンに対して一定割合のトラフィックを送信して検証できます。また、トラフィックミラーリング もサポートしており、本番トラフィックをテストサービスにコピーして、実ユーザーのリクエストに影響を与えることなく信頼性を検証できます。

効率的なデプロイおよびオペレーション

• ワンクリック負荷テスト：動的に負荷を増加させてサービスのパフォーマンス限界をプローブします。秒単位のモニタリングデータおよび負荷テストレポートをリアルタイムで確認し、サービスの能力を迅速に評価できます。

• リアルタイムモニタリング：QPS、応答時間、CPU 使用率などの主要メトリックをリアルタイムモニタリングします。また、サービス監視アラートを有効化して、サービスの健全状態を常に把握できます。

• 複数のデプロイ方法：ランタイムイメージ（推奨）またはプロセッサデプロイを使用したサービスデプロイをサポートし、異なる技術スタックに対応します。

多様な推論モード

• リアルタイム同期推論：高スループットかつ低遅延を特徴とし、検索レコメンデーションや会話型ボットなど、遅延の影響を受けやすいシナリオに適しています。大規模言語モデル（LLM）などの生成モデルでは、レスポンス全体が生成されるまで待機してから返すと、強い遅延感が生じる可能性があります。ストリーミング出力 を有効化することを推奨します。これにより、トークンが生成され次第クライアントにリアルタイムで返され、知覚される応答性が大幅に向上します。ストリーミング出力を有効化してもパフォーマンスが期待値に達しない場合は、より高スペックのパブリックリソースグループインスタンスで比較テストを行ってください。

• ニアリアルタイム非同期推論：内蔵のメッセージキューを備えており、テキストからの画像生成や動画処理などの長時間実行タスクに最適です。キューの滞留状況に基づいたオートスケーリングをサポートし、リクエストの蓄積を防止します。

• オフラインバッチ推論：音声データのバッチ変換など、応答時間に敏感でないバッチ処理シナリオに適しています。コスト削減のためにプリエンプティブルインスタンスもサポートします。

ステップ 1：リソースおよびファイルの準備

1. 推論リソースの準備：モデルサイズ、同時実行要件、予算に基づいて適切な EAS リソースタイプを選択します。リソース選定および購入手順については、「EAS デプロイリソースの概要」をご参照ください。

   説明

   パブリックリソースは事前購入不要で直接利用できます。EAS リソースグループやリソースクォータなどの他のリソースタイプは、事前に購入する必要があります。

2. ファイルの準備：トレーニング済みモデル、処理コード、依存関係を Object Storage Service (OSS) などのクラウドストレージサービスにアップロードします。その後、ストレージマウント を使用してサービスからこれらのファイルにアクセスできます。OSS に保存されたモデルファイルは特定のオペレーティングシステムに依存しません。Windows および Linux の両方でダウンロード可能です。ただし、サービスがモデルをロードして実行できるかどうかは、vLLM や Triton Server などの推論フレームワークがサポートするオペレーティングシステムにも依存します。主流の推論フレームワークの多くは Linux サポートを優先しているため、Windows をご利用の場合は、事前に推論フレームワークの公式ドキュメントを確認し、システム必要条件を確認してください。

ステップ 3：サービスの呼び出しと負荷テスト

• Web アプリケーション：AI Web アプリケーションとしてサービスをデプロイした場合、ブラウザでインタラクティブページを直接開いてテストできます。

• API サービス：オンラインデバッグ 機能を使用してサービス機能を検証するか、API を同期または非同期で呼び出せます。詳細については、「サービス呼び出し」をご参照ください。

• サービス負荷テスト：内蔵のワンクリック負荷テストツールを使用して、負荷下でのサービスパフォーマンスをテストできます。詳細については、「サービス負荷テスト」をご参照ください。

ステップ 4：サービスの監視および管理

1. 監視およびアラート：推論サービスリスト で、ご利用のサービスの実行状態、サービス ID、リソースグループ情報を確認でき、リソースグループでフィルターをかけられます。このリストは、サービスのインスタンスアイデンティティ情報を確認する主な場所でもあります。サービスの健全状態をリアルタイムで把握するために、サービス監視アラートを有効化することを推奨します。

2. 弾力的スケーリング：ビジネス要件に基づいて弾力的スケーリングまたはスケジュールされたスケーリングポリシーを設定し、計算リソースを動的に管理します。PAI コンソールのサービス詳細ページで現在のデプロイモードを確認し、常時起動インスタンス と 弾力的スケーリング のどちらを使用しているかを確認できます。常時起動インスタンスを使用するサービスは固定のレプリカ数で動作しますが、弾力的スケーリングを使用するサービスは設定されたポリシーに基づいてレプリカ数を動的に調整します。

3. サービス更新：[操作] 列で [更新] をクリックして新しいバージョンをデプロイします。更新完了後、バージョン情報を確認したり、バージョン間を切り替えたりできます。

   警告

   サービス更新により一時的なサービス中断が発生し、依存するリクエストが失敗する可能性があります。慎重に操作してください。

4. サービス移行：EAS サービス構成をリージョン間で移行するには、EASCMD コマンドラインツール を使用してソースリージョンからサービス構成をエクスポートします。その後、エクスポートした構成を使用してターゲットリージョンに新しいサービスを作成できます。

Q：専用リソースとパブリックリソースの違いは？

• パブリックリソース：コストに敏感な開発・テスト、またはパフォーマンスの変動を許容できる小規模アプリケーションに適しています。コストは低いですが、ピーク時間帯にリソース競合が発生する可能性があります。

• 専用リソース：高安定性および高性能が求められる本番環境に最適です。物理的に分離されており、リソース競合のリスクを排除します。弾力的リソースプール機能により、専用容量が枯渇した際にワークロードをパブリックリソースにオーバーフローさせ、ピーク時間帯でもコストと安定性のバランスを取れます。在庫が限られているインスタンスタイプを確保するには、専用リソースとして購入する必要があります。

Q：EAS とセルフマネージドサービスの違いは？

EAS はマネージドオペレーションを提供します。リソーススケジューリング、障害復旧、モニタリングを自動で処理し、弾力的スケーリングやカナリアリリースなどの機能も内蔵されています。これにより、開発者はモデル開発に集中でき、運用オーバーヘッドを削減し、市場投入までの時間を短縮できます。

Q：EAS サービスのインスタンス ID またはクラスター ID はどこで確認できますか？

Elastic Algorithm Service (EAS) はオンラインモデル推論サービスであり、ACK コンテナクラスターではないため、従来の「クラスター ID」は存在しません。サービスを識別するには、サービス名 または サービス ID を使用してください。これらの値を確認するには、PAI コンソールにログインし、モデルデプロイ (EAS) に移動して 推論サービス リストを開き、各サービスの サービス名 および サービス ID を確認します。

Q：PAI-EAS にデプロイできるモデルのサイズに制限はありますか？

EAS ではモデルファイルサイズに固定的な制限を設けていません。デプロイ可能な最大モデルサイズは、選択したリソース仕様のメモリまたは GPU メモリ (VARM) 容量、および利用可能なストレージマウント容量に依存します。モデルのパラメーター数および精度に適合する GPU または CPU インスタンスタイプを選択し、OSS ストレージマウントを使用して大規模モデルファイルをロードすることを推奨します。モデルが大きすぎてロードに失敗する場合は、より高スペックのリソース仕様にスペックアップするか、モデル量子化やシャードロードなどの最適化手法をご利用ください。