Platform For AI:共有ゲートウェイ経由でのサービス呼び出し (パブリックエンドポイント/VPC)

呼び出しアドレスの選択

共有ゲートウェイがデプロイされると、デフォルトで 2 種類の呼び出しアドレスが提供されます：

アプリケーションと EAS サービスが異なるリージョンにある場合、VPC が接続されていても、共有ゲートウェイの VPC アドレスを使用してサービスにアクセスすることはできません。この場合、インスタンスの IP アドレスとポートを使用してのみサービスにアクセスできます。ただし、サービスの再起動または更新時に IP アドレスが変更されるため、専用ゲートウェイの使用を推奨します。

サービスの呼び出し

呼び出し例

以下の例では、vLLM でデプロイされた DeepSeek-R1-Distill-Qwen-7B モデルサービスを呼び出す方法を示します。<EAS_ENDPOINT> が http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/test であると仮定します。

リクエストボディ：

{
    "model": "DeepSeek-R1-Distill-Qwen-7B",
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant."
    },
    {
        "role": "user",
        "content": "hello!"
    }
    ]
}

コード例：

curl http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/test/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: *********5ZTM1ZDczg5OT**********" \
-X POST \
-d '{
    "model": "DeepSeek-R1-Distill-Qwen-7B",
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant."
    },
    {
        "role": "user",
        "content": "hello!"
    }
    ]
}' 

import requests

# 実際のエンドポイントに置き換えてください。
url = 'http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/test/v1/chat/completions'
# ヘッダーの Authorization には、実際のトークンを設定します。
headers = {
    "Content-Type": "application/json",
    "Authorization": "*********5ZTM1ZDczg5OT**********",
}
# 特定のモデルで必要なデータ形式に基づいて、サービスリクエストを構築します。
data = {
    "model": "DeepSeek-R1-Distill-Qwen-7B",
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "hello!"
        }
    ]
}
# リクエストを送信します。
resp = requests.post(url, json=data, headers=headers)
print(resp)
print(resp.content)

大規模言語モデル (LLM) サービスの呼び出しに関する詳細については、「LLM サービス呼び出し」をご参照ください。

その他のデプロイシナリオ

• モデルギャラリーからデプロイされたモデル：モデルの モデルの概要 ページには、通常、完全な URL パスとリクエスト形式を含む API 呼び出し例が記載されています。

  cURL コマンド

  共通パラメーター：

  パラメーター	説明	例
  -X	HTTP メソッドを指定します。	-X POST
  -H	リクエストヘッダーを追加します。	-H "Content-Type: application/json"
  -d	リクエストボディを追加します。	-d '{"key": "value"}'

  チャット API 呼び出し例：<EAS_ENDPOINT>/v1/chat/completions に、次のヘッダーを付けて POST リクエストを送信します： Content-Type: application/json と Authorization: <EAS_TOKEN>。JSON リクエストボディの構造は次のとおりです：

  • model：モデル名。/v1/models API を介して取得できます。

  • messages：system ロール (コンテンツ例： You are a helpful assistant.) と user ロール (コンテンツ例： Hello!) を含むメッセージの配列。

  Python コード

  以下の例では、Qwen3-Reranker-8B モデルを使用して、Python コードでサービスを呼び出す方法を示します。URL とリクエストボディが cURL の例と異なることに注意してください。常にモデルの [Overview] ページの指示に従ってください。

  Python コードには、次の主要な設定が含まれています。url を EAS_ENDPOINT/v1/rerank に設定し、headers で Authorization と Content-Type を設定します。prefix、suffix、query_template、document_template のテンプレート文字列 (im_start/im_end の特殊トークンを含む) を定義します。data リクエストボディを、model フィールド (値：Qwen3-Reranker-8B)、query、および documents フィールド (ドキュメント例： "The capital of China is Beijing") で構築します。最後に、main() 関数内で requests.post(url, headers=headers, json=data) を使用して POST リクエストを送信し、結果を出力します。

• シナリオベースのデプロイ：

  • ComfyUI API 呼び出し

  • SDWebUI API 呼び出し

  • TensorFlow Serving サービス呼び出し

  • Triton サービス呼び出し

• 汎用プロセッサ (TensorFlow、Caffe、PMML など) を使用してデプロイされたサービス：「汎用プロセッサに基づくサービスリクエストの構築」をご参照ください。

• その他のカスタムサービス：リクエスト形式は、カスタムイメージまたはコードで定義されたデータ入力形式によって決まります。

• セルフ訓練モデル：呼び出し方法は元のモデルと同じです。

よくある質問

サービス呼び出しに関する一般的な問題と解決策については、「サービス呼び出しに関するよくある質問」をご参照ください。