Platform For AI:VPC 専用接続によるサービスの呼び出し

ユースケース

• 高いパフォーマンス要件：画像認識や音声認識など、1 秒あたりのクエリ数 (QPS) が多い高トラフィックのサービスでは、専用接続によってアクセスパフォーマンスを大幅に向上させることができます。

• レイテンシーに敏感なアプリケーション：オンラインレコメンデーションや金融リスク管理など、高速なレスポンスタイムが求められるサービスでは、専用接続によってレイテンシーを効果的に削減できます。

仕組み

VPC 専用接続は、次の 2 つのメカニズムに基づいています。

• ネットワーク接続：サービスに VPC を設定すると、PAI-EAS は、指定された VPC および vSwitch 内の各サービスインスタンスに、無料の補助 Elastic Network Interface を作成してアタッチします。これにより、VPC と PAI-EAS サービスインスタンスの間に直接的なネットワークパスが確立されます。その結果、VPC 内のクライアントはゲートウェイを経由せずに PAI-EAS サービスインスタンスに直接アクセスでき、レイヤー 4 SLB およびレイヤー 7 ネットワーク転送を回避できます。

• サービスディスカバリ： PAI-EAS は、クライアントがすべてのサービスインスタンスの IP:PORT ペアのリアルタイムリストを取得できるサービスディスカバリメカニズムを提供します。クライアントはこのリストを使用して、負荷分散とフェイルオーバーを実装できます。

リージョン間アクセスと課金

Q：リージョン間の VPC 内部アクセスとパブリックネットワークアクセスの違いは何ですか？

主な違いは、ゲートウェイのタイプによって異なります。

• 共有ゲートウェイ：2 つの VPC 間のネットワーク接続を確立するだけです (たとえば、CEN や VPC ピアリングを使用します)。追加の PAI-EAS ゲートウェイ設定は必要ありません。

• 専用ゲートウェイ：VPC 接続の確立に加えて、PAI-EAS で追加の CEN 関連の設定手順を実行する必要があります。詳細については、「CEN を使用した専用ゲートウェイへのクロス VPC アクセス」をご参照ください。

Q：リージョン間の VPC 内部アクセスではトラフィックコストが発生しますか？それでも推奨されるのはなぜですか？

はい、リージョン間の内部ネットワークトラフィックには料金が発生します。それでも、本番環境では以下の理由から VPC 内部アクセスが推奨されます。

• セキュリティ：トラフィックはパブリックインターネットを経由しないため、パブリックインターネットへの露出リスクが排除されます。

• パフォーマンス：パブリックネットワークアクセスと比較して、レイテンシーが低く、接続がより安定しています。

• コスト効率：リージョン間の内部ネットワークトラフィックコストは、通常、パブリックネットワークのエグレストラフィックコストよりも低くなります。

複数レプリカを持つサービス向けの安定したエンドポイント設定

サービスが複数のレプリカにスケールすると、バックエンドインスタンスの IP が変更される可能性があります。以下の方法を使用して、安定した接続アドレスを維持します。

基本原則：PAI-EAS は SLB を使用して、各サービスに統一されたサービスエンドポイントを公開します。バックエンドで実行されているレプリカの数に関係なく、クライアントはこの単一のアドレスに接続するだけであり、個々のインスタンスの IP の変更を追跡する必要はありません。

• オプション 1 (推奨)：バックエンドに IP 許可リストを設定したパブリックドメインを使用します。ピア VPC の IP 範囲からのトラフィックのみを許可するようにバックエンドを設定します。これにより、追加の DNS 設定なしで安定したドメインアドレスが提供されます。

• オプション 2：ピア VPC で Alibaba Cloud PrivateZone を設定し、カスタムドメインを PAI-EAS プライベート IP アドレスに解決します。IP アドレスが変更された場合は、DNS レコードを更新するか、サービスディスカバリメカニズムを統合して解決を最新の状態に保つ必要があることに注意してください。

EAS コンテナから他の EAS サービスを呼び出す

EAS サービスがコンテナ内から別の EAS サービスを呼び出す必要がある場合は、次の点に注意してください。

• 401 エラーまたは接続失敗：これらは通常、コンテナアプリケーションがパブリックエンドポイントを使用して別の EAS サービスを呼び出すときに発生します。一般的な原因は、コンテナ環境のネットワーク制限または不正なトークン設定です。

• 推奨アプローチ：サービス間の呼び出しには VPC 内部アドレスを使用します。これにより、接続性が確保され、セキュリティが向上します。

• 代替案：パブリックエンドポイントを使用する必要がある場合は、専用ゲートウェイを設定します。これには追加の ALB コストがかかることに注意してください。

• 認証要件：使用するアドレスタイプに関係なく、すべてのリクエストには、リクエストヘッダーに有効な Authorization トークンを含める必要があります。

コアロジック

VPC 専用接続を使用すると、クライアントはゲートウェイをバイパスしてサービスインスタンスに直接接続します。これは、クライアントが サービスディスカバリ、負荷分散、およびフェイルオーバーリトライ の処理を担当することを意味します。公式の PAI-EAS SDK は、このロジックをカプセル化しています。

• サービスディスカバリ：SDK は初期化中にバックグラウンドスレッドを開始し、PAI-EAS サービスディスカバリ API を定期的に呼び出します。バックエンドインスタンスの IP:PORT ペアと重みのリストを取得してキャッシュします。API 呼び出しが失敗した場合、SDK は可用性を確保するために最後にキャッシュされたリストを引き続き使用します。

• 負荷分散：各リクエストに対して、SDK は 加重ラウンドロビン アルゴリズムを使用してローカルキャッシュからターゲットインスタンスを選択します。重みは、サービスディスカバリ API から返されたインスタンスの重みによって決定されます。

• フェイルオーバーリトライ：ネットワークエラー、接続タイムアウト、または 5xx レスポンスが原因でリクエストが失敗した場合、SDK はローカルキャッシュから 異なる インスタンスでリクエストを再試行します。複数インスタンスのデプロイでは、これにより、障害が発生した単一インスタンスによってリクエストが失敗するのを防ぎます。

SDK を使用せずにカスタムクライアントを構築する場合は、同等の機能を実装する必要があります。詳細については、「カスタムクライアントの構築」をご参照ください。

例

package main

import (
        "fmt"
        "github.com/pai-eas/eas-golang-sdk/eas"
)

func main() {
    // エンドポイントは {Uid}.vpc.{RegionId}.pai-eas.aliyuncs.com の形式で使用します。{Uid} をアカウント ID に置き換えて、サービスのリージョンと名前を指定します。たとえば、中国 (上海) のリージョン ID は cn-shanghai です。
    client := eas.NewPredictClient("123**********.vpc.cn-shanghai.pai-eas.aliyuncs.com", "scorecard_pmml_example")
    // サービストークンに置き換えてください。トークンはサービス詳細ページの [呼び出し情報] で確認できます。
    client.SetToken("YWFlMDYyZDNmNTc3M2I3MzMwYmY0MmYwM2Y2MTYxMTY4NzBkNzdj****")
    client.SetEndpointType(eas.EndpointTypeDirect)
    client.Init()
    req := "[{\"fea1\": 1, \"fea2\": 2}]"
    for i := 0; i < 100; i++ {
        resp, err := client.StringPredict(req)
        if err != nil {
            fmt.Printf("failed to predict: %v\n", err.Error())
        } else {
            fmt.Printf("%v\n", resp)
        }
    }
}

サービスディスカバリ API

PAI-EAS は、設定された VPC 内でのサービスディスカバリのための HTTP API を提供します。この API は、サービスのすべてのバックエンドインスタンスの IP アドレス、ポート、および重みのリストを返します。

• URL： http://.vpc..pai-eas.aliyuncs.com/exported/apis/eas.alibaba-inc.k8s.io/v1/upstreams/

• 認証：トークンは必要ありません。API は、サービス用に設定された VPC 内からのみアクセスできます。

• ポーリング間隔：これはサイドチャネル API であり、バックグラウンドタスクによって定期的に (たとえば 5〜10 秒ごと) 呼び出す必要があります。推論リクエストごとにこの API を呼び出さないでください。これを行うと、パフォーマンスが著しく低下します。

例：

次の例は、中国 (杭州) にデプロイされ、2 つのインスタンスを持つ mnist_saved_model_example という名前のサービスをクエリする方法を示しています。

$ curl http://123**********.vpc.cn-hangzhou.pai-eas.aliyuncs.com/exported/apis/eas.alibaba-inc.k8s.io/v1/upstreams/mnist_saved_model_example

123********** をアカウント ID に置き換えてください。

次のレスポンスは、バックエンドサービスアドレスのリストを示しています。

{
  "correlative": [
    "mnist_saved_model_example"
  ],
  "endpoints": {
    "items": [
      {
        "app": "mnist-saved-model-example",
        "ip": "172.16.XX.XX",
        "port": 50000,
        "weight": 100
      },
      {
        "app": "mnist-saved-model-example",
        "ip": "172.16.XX.XX",
        "port": 50000,
        "weight": 100
      }
    ]
  }
}

トラブルシューティング：VPC ドメインへのアクセス失敗

現象：VPC ドメインには到達できませんが、サービスディスカバリ API によって返された直接 IP アドレスを介してサービスにアクセスできます。

一般的な原因：不正な curl コマンド構文。たとえば、URL が引用符で囲まれていないため、シェルが URL 内の & や ? などの特殊文字を誤って解釈します。

解決策：URL を二重引用符で囲み、IP アドレスまたは VPC ドメインを介して最小限のテストリクエストを実行して、接続を確認してください。

# VPC ドメインを使用してテストします (URL は二重引用符で囲む必要があります)
curl "http://123**********.vpc.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/your-service-name" \
  -H "Authorization: your-token"

# 直接 IP アドレスを使用してテストします (サービスディスカバリ API のレスポンスから取得した IP に置き換えてください)
curl "http://172.16.XX.XX:50000/api/predict/your-service-name" \
  -H "Authorization: your-token"