Platform For AI:サービスデプロイ

イメージベースのデプロイの仕組み

各 EAS サービスは、1 つ以上の分離されたコンテナインスタンスで実行されます。デプロイには、以下のコアコンポーネントが含まれます：

• イメージ：オペレーティングシステム、ベースライブラリ (CUDA など)、言語ランタイム (Python など)、および必要な依存関係を含む読み取り専用のテンプレートです。PAI の公式イメージを使用するか、特定の要件に合わせてカスタムイメージをビルドします。

• コードとモデル：ビジネスロジックとモデルファイルです。これらを Object Storage Service (OSS) または Apsara File Storage NAS に保存します。これにより、コードとモデルがランタイム環境から分離され、イメージを再ビルドすることなく更新できます。

• ストレージマウント：起動時に、EAS は指定された外部ストレージパスをコンテナ内のローカルディレクトリにマウントします。これにより、コンテナ内のコードは、あたかもローカルファイルであるかのように外部ファイルにアクセスできます。

• 起動コマンド：コンテナの起動後に実行される最初のコマンドです。通常、推論リクエストを受信するための HTTP サーバーを起動します。

デプロイのワークフローは以下の通りです：

1. 指定されたイメージをプルし、コンテナを作成します。

2. 外部ストレージをコンテナ内の指定されたパスにマウントします。

3. コンテナ内で起動コマンドを実行します。

4. コマンドが正常に実行された後、指定されたポートでリッスンし、推論リクエストを処理します。

デプロイ方法

EAS コンソールでは、3 つのデプロイ方法が提供されています。これら 3 つはすべて同じ JSON サービス設定を送信しますが、設定の作成方法のみが異なります。

JSON 設定は、eascmd クライアントまたは PAI Python SDK を通じてもデプロイできます。

PAI-EAS は Docker Compose を使用したサービスのデプロイをサポートしていません。Docker Compose は ECS などのサービスとしてのインフラストラクチャ (IaaS) のシナリオを対象としています。PAI-EAS はモデルサービス向けのサービスとしてのプラットフォーム (PaaS) であり、JSON 設定またはコンソールフォームを通じてコンテナインスタンスを管理します。前述の 3 つのデプロイ方法のいずれかを使用してください。複雑なマルチコンテナオーケストレーションには、Container Service for Kubernetes (ACK) を使用してください。

主要な設定

デプロイ方法の選択に加えて、通常、サービスをデプロイする際に次の項目を設定します：

• コンピューティングリソース：リソースタイプを選択し、システムディスクなどを設定します。詳細については、「リソース設定」をご参照ください。

• ストレージマウント：OSS や NAS などの外部ストレージからモデルファイルとデータをサービスコンテナにマウントします。詳細については、「ストレージマウント」をご参照ください。

• ネットワークアクセス：VPC やパブリックネットワークアクセスなど、サービスのネットワーク環境を設定します。詳細については、「EAS からパブリックリソースとプライベートリソースへのアクセス」をご参照ください。

• 動的パラメーター：サービスの再起動なしで推論の動作を調整するために、実行時に更新できるキーと値のペアを設定します。詳細については、「動的パラメーターの設定」をご参照ください。

よくある質問