Platform For AI:ゲートウェイ経由でのインターネットまたはプライベートネットワークからのサービス呼び出し

ゲートウェイタイプの選択

EAS は共有ゲートウェイと専用ゲートウェイを提供します。違いは以下のとおりです。

推奨事項:

• 開発およびテスト環境には 共有ゲートウェイ を使用します。

• 本番環境には 専用ゲートウェイ を使用します。

アクセス方法の選択

サービスの呼び出し方法

EAS サービスを呼び出すには、次の3つの主要な要素が必要です。

• サービスエンドポイント

• 認証トークン

• モデルの API 仕様に従って構造化されたリクエスト

呼び出し例

vLLM でデプロイされた DeepSeek-R1-Distill-Qwen-7B モデルサービスを呼び出すには、次の要素が必要です。

• メソッド: POST

• リクエストパス: <EAS_ENDPOINT>/v1/chat/completions (チャット API)

• ヘッダー:

  • Authorization: <Token>

  • Content-Type: application/json

• リクエストボディ:

  {
      "model": "DeepSeek-R1-Distill-Qwen-7B",
      "messages": [
      {
          "role": "system",
          "content": "You are a helpful assistant."
      },
      {
          "role": "user",
          "content": "hello!"
      }
      ]
  }

コード例:

<EAS_ENDPOINT> が http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/test であると仮定します。

curl http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/test/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: *********5ZTM1ZDczg5OT**********" \
-X POST \
-d '{
    "model": "DeepSeek-R1-Distill-Qwen-7B",
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant."
    },
    {
        "role": "user",
        "content": "hello!"
    }
    ]
}' 

import requests

# Replace with your actual endpoint.
url = 'http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/test/v1/chat/completions'
# The value of Authorization in the header is your actual token.
headers = {
    "Content-Type": "application/json",
    "Authorization": "*********5ZTM1ZDczg5OT**********",
}
# Construct the service request based on the data format required by the specific model.
data = {
    "model": "DeepSeek-R1-Distill-Qwen-7B",
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "hello!"
        }
    ]
}
# Send the request.
resp = requests.post(url, json=data, headers=headers)
print(resp)
print(resp.content)

大規模言語モデル (LLM) サービスの呼び出しの詳細については、「LLM サービス呼び出し」をご参照ください。

その他のシナリオ

• モデルギャラリーからデプロイされたモデル: これらのモデルの Overview ページには、通常、完全な URL パスおよびリクエストフォーマットを含む API 呼び出しの例が記載されています。

  cURL コマンド

  基本構文: curl [options] [URL]

  一般的なパラメーター (オプション):

  • -X: -X POST のように HTTP メソッドを指定します。

  • -H: -H "Content-Type: application/json" のようにリクエストヘッダーを追加します。

  • -d: -d '{"key": "value"}' のようにリクエストボディを追加します。

  

  Python コード

  以下の Python コードは、Qwen3-Reranker-8B モデルを例として使用しています。その URL とリクエストボディは cURL コマンドの例とは異なることに注意してください。対応するモデルの紹介を必ず参照してください。

  

• シナリオベースのデプロイメント:

  • ComfyUI API 呼び出し

  • SDWebUI API 呼び出し

  • TensorFlow Serving サービス呼び出し

  • Triton サービス呼び出し

• TensorFlow、Caffe、PMML などの汎用プロセッサを使用してデプロイされたサービス: 詳細については、「汎用プロセッサに基づいてサービスリクエストを構築」をご参照ください。

• その他のカスタムサービス: リクエスト形式は、カスタムイメージまたはコードで定義するデータ入力形式によって決定されます。

• 自分でトレーニングしたモデル: 呼び出し方法は元のモデルと同じです。

よくある質問

サービス呼び出しに関連するよくある質問とソリューションについては、「サービス呼び出しのよくある質問」をご参照ください。