為EAS服務關連網絡負載平衡NLB執行個體後,可統一管理和調度EAS服務,並利用其強大的存取控制功能,尤其適合需要負載平衡能力的高Cellular Data Package。
NLB掛載暫不支援LLM智能路由。
計費說明
使用NLB會產生費用,計費說明參見NLB計費規則。
調用原理
原理介紹:
-
EAS服務配置VPC網路後,系統將為EAS服務的每個Pod分配一個VPC內的IP地址。
-
為EAS服務關聯一個同VPC內的NLB執行個體後,系統會為NLB執行個體添加一個TCP監聽,將監聽連接埠上接收到的請求直接轉寄至EAS服務。
配置方法
控制台配置
在部署配置頁面的网络信息地區,配置專用網路並開啟关联负载均衡NLB,步驟如下:
-
配置專用網路:關聯NLB必須為EAS服務配置VPC、交換器和安全性群組。如無,請參見建立和管理專用網路和管理安全性群組。
-
专有网络:如關聯已有NLB執行個體,請使用與NLB執行個體一致的專用網路。
-
交换机:保證交換器可用IP數量與副本數相匹配。
-
安全组:
-
請確保安全性群組未被其他雲產品使用。
-
安全性群組的入方向配置需確保EAS執行個體IP及其8080連接埠在授權的IP和連接埠範圍內。
-
-
-
開啟关联负载均衡NLB,選擇配置方式:
-
使用系统创建的NLB实例:系統會在當前帳號下自動建立NLB執行個體,其生命週期與當前部署的服務保持一致。
-
关联已有的NLB实例:使用者先自行建立NLB執行個體然後關聯(EAS服務必須配置與NLB執行個體同樣的VPC)。
-
-
网络选择:
-
僅使用系统创建的NLB实例時,需選擇NLB執行個體的網路類型。
-
支援公網或專用網路。 兩者都選,將建立2個NLB執行個體。
-
-
端口号:NLB的監聽連接埠。可選。範圍1~65535。
-
若填寫,將通過
NLB網域名稱:監聽連接埠訪問EAS服務。重要-
不能使用8080連接埠。因EAS引擎監聽固定該連接埠,若使用該連接埠會導致服務因連接埠衝突而無法正常完成啟動。
-
請使用未被NLB監聽的連接埠,以避免衝突。
-
-
若不填,則為NLB執行個體配置監聽時開啟全連接埠功能,將通過
NLB網域名稱:服務連接埠訪問EAS服務。
-
JSON配置
關聯NLB執行個體需配置的JSON參數如下,注意點參見控制台配置:
|
參數 |
描述 |
||
|
cloud |
networking |
vpc_id |
為EAS服務配置專用網路ID、交換器ID和安全性群組ID。 |
|
vswitch_id |
|||
|
security_group_id |
|||
|
networking |
nlb |
id |
取值如下:
|
|
net_type |
網路類型,僅使用系統建立的NLB執行個體時需填寫,取值如下:
|
||
|
listener_port |
NLB的監聽連接埠。 |
||
配置樣本:
{
"cloud": {
"computing": {
.... // 部署資源
},
"networking": {
"security_group_id": "sg-bp1brugkivv2im5738q9",
"vpc_id": "vpc-bp1uepgqtarjwghnfy9po",
"vswitch_id": "vsw-bp1glkxasep5isqpvbj0t,vsw-bp1atvza5gzz0hedw2eci"
}
},
"metadata": {
.... // 其他配置資訊
},
"networking": {
"nlb": [
{
"id": "default",
"listener_port": 80,
"net_type": "internet"
}
]
}
}
驗證網路連通性
服務部署成功後,驗證NLB網域名稱:監聽連接埠的網路連通性:
-
登入網路型負載平衡NLB控制台,在目標NLB執行個體DNS名稱列,查看NLB網域名稱。

-
執行命令
telnet NLB網域名稱 監聽連接埠,驗證NLB網域名稱連通性。其中監聽連接埠是部署服務時關聯NLB配置的連接埠號碼,若未填寫則為EAS服務連接埠號碼;網域名稱為上一步查詢的DNS網域名稱。
-
公網NLB:可在本地終端執行命令驗證。
-
私網NLB:在專用網路內的終端機器上執行命令驗證。
樣本結果如下所示:

-
-
通過NLB網域名稱和連接埠來調用EAS服務。樣本如下,您的調用命令和結果以實際為準。
# 樣本命令 curl http://<NLB網域名稱>:<監聽連接埠>/path/to/api -H 'Authorization:<service_token>' -d '[{"浙江的省會城市是 哪裡?"}]' # 樣本結果 {"response":"浙江的省會城市是杭州。","history":[["[{\"浙江的省會城市是哪裡?\"}]","浙江的省會城市是杭州。"]]}其中,
<NLB網域名稱>:<監聽連接埠>用於替換服務訪問地址中的網關網域名稱。如服務訪問地址http://123456***.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/your-service-name,對應的NLB請求地址為http://<NLB網域名稱>:<監聽連接埠>/api/predict/your-service-name。