服務群組管理承載業務流量的多個子服務,提供統一的流量入口,系統根據分配策略將流量分發到各服務。適用於灰階發布、Auto Scaling和異構資源調度等情境。
應用情境
灰階發布
將生產服務和灰階服務加入同一分組,灰階服務分配較少的流量。發布新版本時,先更新灰階服務,觀察運行情況。若有問題,復原灰階服務或停止灰階服務並切換流量到生產服務;若正常,則全量更新生產服務,更新後縮容灰階服務至0或保留少量流量。
預付費和後付費Auto Scaling
在同一分組中,預付費服務部署在專屬資源群組,固定副本數支撐基本需求;後付費服務部署在公用資源群組,按需Auto Scaling,降低成本。
使用異構硬體資源
在GPU加速情境中,服務部署完成後,部分卡型在某些地區可能會出現停卡或庫存不足的問題,導致服務無法正常擴容。使用服務群組功能在同一服務群組中動態建立不同卡型的服務,適配不同CUDA環境,實現多服務使用異構資源支援同一業務情境。因服務群組的流量入口不變,故前端透明無感知。
建立服務群組
建立服務時,您可以指定服務歸屬的服務群組。如果指定的群組不存在,系統會自動建立;如果存在,則新服務會加入該群組。
刪除服務群組中最後一個服務時,服務群組會自動刪除。
下面以建立一個pmml服務群組,並將pmml_prod和pmml_grey兩個服務歸屬到該服務群組為例,樣本如何建立服務群組。
登入PAI控制台,在頁面上方選擇目標地區,並在右側選擇目標工作空間,然後單擊進入EAS。
在服务群组頁簽,單擊新建群组与服务。
在自定义部署頁面,配置參數,並單擊部署。
參照步驟2~3,建立服務pmml_grey歸屬於服務群組pmml。
服務建立成功後,您可以在服务群组頁簽單擊群組名稱pmml進入群組詳情頁面,查看歸屬於該群組的服務列表。
後加入群組的服務預設不承載流量,請參考修改流量分配策略。
查看流量入口
服務群組擁有統一的流量入口,群組中各服務還擁有獨立的流量入口。
群组总流量入口:該入口的流量會根據策略分配到不同服務。服務群組中的服務可以建立或刪除,但入口地址不變。
服务独立流量入口:該入口與具體服務的生命週期關聯,流量始終會流入指定的服務。服務刪除後,入口會被銷毀。完成群組切流後,仍需使用該入口地址訪問服務和線上調試。
擷取方式:
在推理服务頁簽,單擊目標服務名稱進入概览頁面。
在基本信息地區,單擊查看调用信息。
在彈出的對話方塊中查看調用地址及Token資訊。
入口
地址格式
樣本
群组总流量入口
<endpoint>/api/predict/<group_name>http://182848887922****.vpc.cn-shanghai.pai-eas.aliyuncs.com/api/predict/pmml服务独立流量入口
<endpoint>/api/predict/<group_name>.<service_name>http://182848887922****.vpc.cn-shanghai.pai-eas.aliyuncs.com/api/predict/pmml.pmml_prod
修改流量分配策略
在群組詳情頁頂部的群組名稱旁,可切換流量分配方式。EAS當前支援兩種流量分配方式:
副本数分配:流量會根據各服務的推理副本數量動態分配。例如,服務A有1個副本,服務B有3個副本,則A分配25%流量,B分配75%的流量。關閉流量分配功能後,該服務不再參與群組流量分配,但可單獨訪問調用。
自定义权重分配:流量根據各服務的權重加權分配。例如,服務A的流量權重為100,服務B的流量權重為400,則A分配20%流量,B分配80%流量。
注意:
開啟目標服務流量分配列開關,表示該服務承接流量;關閉,表示該服務不承接流量。
重要無論哪種流量分配方式,關閉流量分配開關後,不再參與群組流量分配,但可單獨訪問調用。
選擇自定义权重分配流量,請在流量权重列的編輯按鈕設定該服務的流量权重。
支援通過API調整服務流量權重和流量狀態,詳情參見調整服務流量權重和流量狀態。