通過網關進行公網或內網調用 - Platform For AI

EAS提供了共用網關和專屬網關，兩者皆支援公網或內網調用，調用流程基本一致，可根據實際情況選擇網關和調用地址。

網關選擇

EAS服務的網關提供共用網關和專屬網關，差異點如下：

對比維度	共用網關	專屬網關
公網調用	預設支援。	支援，需先開通。
內網調用	預設支援。	支援，需先開通。
成本	免費提供。	額外付費。
適用情境	頻寬共用，適合流量比較小且無需定製存取原則的服務。推薦測試情境使用。	頻寬專享，適合對安全性、穩定性和效能要求高，流量比較大的服務。推薦生產環境使用。
服務配置方式	預設配置，直接使用。	需先建立，在服務部署時選擇專屬網關，詳見使用專屬網關。

調用地址選擇

公網地址：適用於任何可以訪問公網的環境。請求會經由EAS共用網關轉寄至EAS線上服務。
VPC地址：適用於當您的調用程式與EAS服務部署在同一地區的情況。位於同一地區的兩個VPC網路支援建立VPC串連。

重要

相比公網調用，VPC內網調用速度更快（免去公網調用中的網路效能開銷）且成本更低（內網流量通常免費）。

如何調用

調用服務的關鍵是擷取服務的訪問地址和Token，並根據具體的模型服務構造請求。

一、擷取訪問地址和Token

部署服務後，系統會自動產生調用所需的訪問地址（Endpoint）和授權令牌（Token）。

重要

控制台提供的訪問地址是基礎地址。您通常需要在其後拼接正確的介面路徑，才能構成完整的請求URL。路徑錯誤是導致404 Not Found的最常見原因。

在推理服務頁簽，單擊目標服務名稱進入概覽頁面，在基本資料地區單擊查看調用資訊。
在調用資訊面板，可擷取訪問地址和Token。根據您的實際情況選擇公網或VPC地址，後續使用<EAS_ENDPOINT>和<EAS_TOKEN>指代這兩個值。

二、構造並發送請求

無論是使用公網還是VPC地址，請求的構造方式基本一致，僅URL不同。一個標準的調用請求，通常包含以下四個核心要素：

要求方法（Method）： 最常用的是POST、GET。
請求路徑(URL)：由基礎地址<EAS_ENDPOINT>和具體的介面路徑拼接而成。
要求標頭（Headers）：通常至少需要認證資訊Authorization: <Token>。
請求體（Body）：其格式（比如JSON）由具體部署的模型介面決定。
重要
通過網關調用時，請求體大小不得超過 1MB。

情境樣本

情境一：調用Model Gallery部署的模型

請直接查詢Model Gallery的模型介紹頁面，其中通常會以curl命令或Python代碼提供最準確的API調用樣本，包括完整的 URL 路徑和請求體格式。

cURL命令

curl命令的基本文法格式為curl [options] [URL]：

options為選擇性參數，常用的有：-X指定要求方法， -H指定要求標頭， -d指定請求體。
URL表示要訪問的HTTP介面。

Python代碼

通過python代碼說明，以Qwen3-Reranker-8B模型為例，注意其URL、請求體就與curl命令樣本不同，請務必參考對應的模型介紹說明。

情境二：調用大語言模型

LLM服務通常提供相容OpenAI的API介面，例如對話介面（/v1/chat/completions）、補全介面（/v1/completions）等。

以使用vLLM部署的DeepSeek-R1-Distill-Qwen-7B模型服務為例，請求其對話介面需要的元素如下（更多請參見LLM調用）：

要求方法：POST
請求路徑：<EAS_ENDPOINT>/v1/chat/completions
要求標頭：Authorization: <Token> 和 Content-Type: application/json

請求體：

{
    "model": "DeepSeek-R1-Distill-Qwen-7B",
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant."
    },
    {
        "role": "user",
        "content": "hello!"
    }
    ]
}

樣本：使用curl和python調用

假設<EAS_ENDPOINT>為http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/test。

curl

curl http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/test/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: *********5ZTM1ZDczg5OT**********" \
-X POST \
-d '{
    "model": "DeepSeek-R1-Distill-Qwen-7B",
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant."
    },
    {
        "role": "user",
        "content": "hello!"
    }
    ]
}'

Python

import requests

# 替換為實際訪問地址
url = 'http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/test/v1/chat/completions'
# header資訊 Authorization的值為實際的Token
headers = {
    "Content-Type": "application/json",
    "Authorization": "*********5ZTM1ZDczg5OT**********",
}
# 根據具體模型要求的資料格式構造服務要求。
data = {
    "model": "DeepSeek-R1-Distill-Qwen-7B",
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "hello!"
        }
    ]
}
# 發送請求
resp = requests.post(url, json=data, headers=headers)
print(resp)
print(resp.content)

常見問題

請參見服務調用FAQ。

Platform For AI：通過網關進行公網或內網調用