為EAS服務關連網絡負載平衡NLB執行個體後,可統一管理和調度EAS服務,並利用其強大的存取控制功能,尤其適合需要負載平衡能力的高Cellular Data Package。
NLB掛載暫不支援LLM智能路由。
計費說明
使用NLB會產生一定的費用,詳細的計費說明,請參見NLB計費規則。
調用原理
原理介紹:
EAS服務配置VPC網路後,系統將為EAS服務的每個Pod分配一個VPC內的IP地址。
為EAS服務關聯一個同VPC內的NLB執行個體後,系統會為NLB執行個體添加一個TCP監聽,將監聽連接埠上接收到的請求直接轉寄至EAS服務。
配置方法
控制台配置
在部署配置頁面的网络信息地區,配置專用網路並開啟关联负载均衡NLB,步驟如下:
配置專用網路:關聯NLB必須為EAS服務配置VPC、交換器和安全性群組。如無,請參見建立和管理專用網路和管理安全性群組。
专有网络:如關聯已有NLB執行個體,請使用與NLB執行個體一致的專用網路。
交换机:保證交換器可用IP數量與副本數相匹配。
安全组:
請確保安全性群組未被其他雲產品使用。
安全性群組的入方向配置需確保EAS執行個體IP及其8080連接埠在授權的IP和連接埠範圍內。
開啟关联负载均衡NLB,選擇配置方式:
使用系统创建的NLB实例:系統會在當前帳號下自動建立NLB執行個體,其生命週期與當前部署的服務保持一致。
关联已有的NLB实例:使用者先自行建立NLB執行個體然後關聯(EAS服務必須配置與NLB執行個體同樣的VPC)。
网络选择:
僅使用系统创建的NLB实例時,需選擇NLB執行個體的網路類型。
支援公網或專用網路。 兩者都選,將建立2個NLB執行個體。
端口号:NLB的監聽連接埠。可選。範圍1~65535。
若填寫,將通過
NLB網域名稱:監聽連接埠訪問EAS服務。重要不能使用8080連接埠。因EAS引擎監聽固定該連接埠,若使用該連接埠會導致服務因連接埠衝突而無法正常完成啟動。
請使用未被NLB監聽的連接埠,以避免衝突。
若不填,則為NLB執行個體配置監聽時開啟全連接埠功能,將通過
NLB網域名稱:服務連接埠訪問EAS服務。
JSON配置
關聯NLB執行個體需配置的JSON參數如下,各參數配置注意點請參見控制台配置:
參數 | 描述 | ||
cloud | networking | vpc_id | 為EAS服務配置專用網路ID、交換器ID和安全性群組ID。 |
vswitch_id | |||
security_group_id | |||
networking | nlb | id | 取值如下:
|
net_type | 網路類型,僅使用系統建立的NLB執行個體時需填寫,取值如下:
| ||
listener_port | NLB的監聽連接埠。 | ||
配置樣本:
{
"cloud": {
"computing": {
.... // 部署資源
},
"networking": {
"security_group_id": "sg-bp1brugkivv2im5738q9",
"vpc_id": "vpc-bp1uepgqtarjwghnfy9po",
"vswitch_id": "vsw-bp1glkxasep5isqpvbj0t,vsw-bp1atvza5gzz0hedw2eci"
}
},
"metadata": {
.... // 其他配置資訊
},
"networking": {
"nlb": [
{
"id": "default",
"listener_port": 80,
"net_type": "internet"
}
]
}
}驗證網路連通性
服務部署成功後,驗證NLB網域名稱:監聽連接埠的網路連通性:
登入網路型負載平衡NLB控制台,在目標NLB執行個體DNS名稱列,查看NLB網域名稱。

執行命令
telnet NLB網域名稱 監聽連接埠,驗證NLB網域名稱連通性。其中監聽連接埠是您部署服務時關聯NLB時配置的連接埠號碼,若未填寫為EAS服務的連接埠號碼;網域名稱為上述步驟查詢的DNS網域名稱。
公網NLB:可在本地終端中執行命令進行驗證。
私網NLB:在專用網路內的終端機器上,執行命令進行驗證。
樣本結果如下所示:

通過NLB網域名稱和連接埠來調用EAS服務。樣本如下,您的調用命令和結果以實際為準。
# 樣本命令 curl http://<NLB網域名稱>:<監聽連接埠>/path/to/api -H 'Authorization:<service_token>' -d '[{"浙江的省會城市是 哪裡?"}]' # 樣本結果 {"response":"浙江的省會城市是杭州。","history":[["[{\"浙江的省會城市是哪裡?\"}]","浙江的省會城市是杭州。"]]}其中,
<NLB網域名稱>:<監聽連接埠>替換的是服務訪問地址中的網關網域名稱。如 服務訪問地址http://123456***.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/your-service-name對應的NLB請求地址為http://<NLB網域名稱>:<監聽連接埠>/api/predict/your-service-name。