PAI-EAS は、ネットワークとパフォーマンスの要件を満たすために組み合わせ可能な、複数のアクセス方法と 2 つの通信プロトコルを提供します。
シナリオガイド
サービスはデプロイ後、追加の設定を行わなくても、デフォルトで共有ゲートウェイ経由の HTTP で呼び出すことができます。以下のガイドを利用すると、シナリオに応じた必要な情報を素早く見つけることができます。
クイックスタート:サービスをすでにデプロイ済みで、デフォルトの共有ゲートウェイを使用して呼び出したい場合は、「ゲートウェイ経由でのサービスの呼び出し」をご参照ください。
他のアクセス方法の使用:共有ゲートウェイがニーズを満たさない場合は、専用ゲートウェイ、VPC 直接接続、Network Load Balancer (NLB)、またはサービスディスカバリ (Nacos) など、他のオプションとその設定についてご確認ください。詳細については、下記の「アクセス方法」をご参照ください。
gRPC プロトコルの使用:gRPC バイナリプロトコルを使用してネットワークオーバーヘッドを削減し、推論パフォーマンスを向上させたい場合は、「gRPC 経由での PAI-EAS 推論サービスの呼び出し」をご参照ください。
仕組み
PAI-EAS のサービス呼び出しの一般的なデータフローは次のとおりです:
クライアントがリクエストを送信:アプリケーションは、ゲートウェイまたは直接接続アドレスである PAI-EAS サービスエンドポイントに推論リクエストを送信します。
エンドポイントルーティング:リクエストは、選択した方法 (共有ゲートウェイ、専用ゲートウェイ、VPC 直接接続、NLB、または Nacos) を通じてバックエンドのサービスインスタンスにルーティングされます。ゲートウェイを使用する場合、ゲートウェイレイヤーが負荷分散とルーティングを処理します。直接接続を使用する場合、クライアントがターゲットインスタンスを選択します。
サービスインスタンスの処理:リクエストが PAI-EAS サービスインスタンスに到達すると、モデルサービスプロセスが推論計算を実行し、JSON や Protobuf などの指定された形式で結果をシリアル化して返します。
クライアントがレスポンスを受信:推論結果を受信した後、クライアントはデータを解析し、ビジネスロジックを続行します。
アクセス方法
ユースケースに基づいてアクセス方法を選択してください。
シナリオ | 推奨される方法 | ネットワークパス | 設定コスト |
迅速な検証、低トラフィックのサービス | 共有ゲートウェイ経由のインターネットまたは VPC | 無料、簡単な設定 | |
高いセキュリティ、高い安定性、高トラフィック | 専用ゲートウェイ経由のインターネットまたは VPC | ゲートウェイの作成と設定が必要です。追加料金が適用されます。 | |
クライアントと PAI-EAS サービスが同じ VPC 内にある、低レイテンシー、高同時実行のシナリオ | ゲートウェイをバイパスして、同じ VPC 内のサービスインスタンスに直接接続 | VPC の設定が必要 | |
負荷分散を伴う高トラフィック | NLB を介して転送 (NLB と PAI-EAS サービスは同じ VPC 内に配置する必要があります) | NLB の作成または関連付けが必要 | |
既存の Nacos ベースのサービスガバナンスシステム | Nacos を介して登録および検出 (Nacos インスタンスと PAI-EAS サービスは同じ VPC 内に配置する必要があります) | Nacos インスタンスをご用意いただく必要があります。 |
PAI-EAS サービス用に VPC、vSwitch、およびセキュリティグループを設定した後:
セキュリティグループのルールによる制限なし:共有ゲートウェイまたは専用ゲートウェイを介して PAI-EAS にアクセスする場合、セキュリティグループのルールは適用されません。専用ゲートウェイの場合、許可リストを設定してアクセスを制御できます。
セキュリティグループのルールによる制限あり:NLB、Nacos、または VPC 直接接続を介して PAI-EAS にアクセスする場合、PAI-EAS からのすべてのアウトバウンドトラフィックを含むすべてのトラフィックが、セキュリティグループのルールの対象となります。
通信プロトコル
PAI-EAS は 2 つの通信プロトコルをサポートしています。使用可能なプロトコルは、デプロイするサービスの種類によって異なります:
HTTP/JSON (デフォルト):デプロイ後に自動的に有効になります。ほとんどのユースケースに適しています。
gRPC:パフォーマンスが重視されるシナリオ、またはストリーミング推論のシナリオ向けの高性能バイナリプロトコルです。デプロイ時に手動で有効にする必要があります。
よくある質問
クロスリージョンアクセスと課金
Q:プライベートネットワーク (ゲートウェイの VPC エンドポイントを使用) を介して、異なるリージョンのサービスにアクセスするにはどうすればよいですか?
PAI-EAS サービスとクライアントが異なるリージョンの VPC にある場合、アプローチはゲートウェイの種類によって異なります:
アプリケーション専用ゲートウェイ: CEN や VPC ピアリング接続などのサービスを使用して、VPC 間のネットワーク接続を確立するだけで済みます。詳細については、「VPC 相互接続」をご参照ください。
フルマネージド専用ゲートウェイ: VPC 間のネットワーク接続を確立することに加えて、クライアントの VPC を専用ゲートウェイに関連付ける必要があります。詳細については、「別の VPC からフルマネージド専用ゲートウェイにアクセスする」をご参照ください。
Q:プライベート VPC 接続を介したクロスリージョン間のトラフィックに料金はかかりますか? インターネットを使用する場合と比較して、どのような利点がありますか?
はい。プライベートネットワークを介してクロスリージョン接続を確立した場合でも、クロスリージョン間のトラフィックに対して料金が発生します。具体的なコストは、使用する相互接続方法によって異なります。プライベート VPC 接続は、インターネット経由のアクセスに比べて、次のような利点があります:
セキュリティの強化:サービスがインターネットに公開されないため、セキュリティリスクが軽減されます。
高速性と低レイテンシー:プライベートネットワークは安定したリンク品質を提供します。
トラフィックコストの削減:プライベートネットワークのトラフィック料金は、通常、インターネットのトラフィック料金よりも低くなります。
本番環境では、クロスリージョンアクセスにプライベート VPC エンドポイントを使用することを推奨します。
サービス間呼び出し
アプリケーションが PAI-EAS コンテナにデプロイされていて、他の PAI-EAS サービスを呼び出す必要がある場合は、次の点にご注意ください:
認証要件:パブリックまたはプライベートの VPC エンドポイントを使用するかどうかにかかわらず、すべてのリクエストのヘッダーに有効な Authorization トークンを含める必要があります。
一般的な失敗の理由:デフォルトでは、PAI-EAS サービスはインターネットにアクセスできません。パブリックエンドポイントを使用して他の PAI-EAS サービスを呼び出そうとすると失敗します。これを解決するには、「PAI-EAS サービスのネットワークアクセスの設定」をご参照ください。401、502、またはその他のエラーコードが発生した場合は、トラブルシューティングについては「付録:サービスステータスコードと一般的なエラー」をご参照ください。
推奨プラクティス: PAI-EAS 内でのサービス間呼び出しには、ネットワークの接続性とセキュリティを確保するために、プライベート VPC エンドポイントを使用することを推奨します。