全部產品
Search
文件中心

Platform For AI:服務群組

更新時間:Oct 23, 2026

服務群組管理承載業務流量的多個子服務,提供統一的流量入口,系統根據分配策略將流量分發到各服務。適用於灰階發布、Auto Scaling和異構資源調度等情境。

應用情境

  • 灰階發布

    將生產服務和灰階服務加入同一分組,灰階服務分配較少的流量。發布新版本時,先更新灰階服務,觀察運行情況。若有問題,復原灰階服務或停止灰階服務並切換流量到生產服務;若正常,則全量更新生產服務,更新後縮容灰階服務至0或保留少量流量。

  • 預付費和後付費Auto Scaling

    在同一分組中,預付費服務部署在專屬資源群組,固定副本數支撐基本需求;後付費服務部署在公用資源群組,按需Auto Scaling,降低成本。

  • 使用異構硬體資源

    在GPU加速情境中,服務部署完成後,部分卡型在某些地區可能會出現停卡或庫存不足的問題,導致服務無法正常擴容。使用服務群組功能在同一服務群組中動態建立不同卡型的服務,適配不同CUDA環境,實現多服務使用異構資源支援同一業務情境。因服務群組的流量入口不變,故前端透明無感知。

建立服務群組

建立服務時,您可以指定服務歸屬的服務群組。如果指定的群組不存在,系統會自動建立;如果存在,則新服務會加入該群組。

說明

刪除服務群組中最後一個服務時,服務群組會自動刪除。

下面以建立一個pmml服務群組,並將pmml_prod和pmml_grey兩個服務歸屬到該服務群組為例,樣本如何建立服務群組。

  1. 登入PAI控制台,在頁面上方選擇目標地區,並在右側選擇目標工作空間,然後單擊進入EAS。

  2. 在服务群组頁簽,單擊新建群组与服务。

  3. 在自定义部署頁面,配置參數,並單擊部署。

    其中:

    • 服务名称:參考介面提示資訊配置,樣本值為pmml_prod。

    • 所属群组:選擇新建群组,樣本值為pmml。

    其他參數配置詳情參見自訂部署。

  1. 參照步驟2~3,建立服務pmml_grey歸屬於服務群組pmml。

服務建立成功後,您可以在服务群组頁簽單擊群組名稱pmml進入群組詳情頁面,查看歸屬於該群組的服務列表。

重要

後加入群組的服務預設不承載流量,請參考修改流量分配策略。

查看流量入口

服務群組擁有統一的流量入口,群組中各服務還擁有獨立的流量入口。

  • 群组总流量入口:該入口的流量會根據策略分配到不同服務。服務群組中的服務可以建立或刪除,但入口地址不變。

  • 服务独立流量入口:該入口與具體服務的生命週期關聯,流量始終會流入指定的服務。服務刪除後,入口會被銷毀。完成群組切流後,仍需使用該入口地址訪問服務和線上調試。

擷取方式:

  1. 在推理服务頁簽,單擊目標服務名稱進入概览頁面。

  2. 在基本信息地區,單擊查看调用信息。

  3. 在彈出的對話方塊中查看調用地址及Token資訊。

    入口

    地址格式

    樣本

    群组总流量入口

    <endpoint>/api/predict/<group_name>

    http://182848887922****.vpc.cn-shanghai.pai-eas.aliyuncs.com/api/predict/pmml

    服务独立流量入口

    <endpoint>/api/predict/<group_name>.<service_name>

    http://182848887922****.vpc.cn-shanghai.pai-eas.aliyuncs.com/api/predict/pmml.pmml_prod

修改流量分配策略

在群組詳情頁頂部的群組名稱旁,可切換流量分配方式。EAS當前支援兩種流量分配方式:

  • 副本数分配:流量會根據各服務的推理副本數量動態分配。例如,服務A有1個副本,服務B有3個副本,則A分配25%流量,B分配75%的流量。關閉流量分配功能後,該服務不再參與群組流量分配,但可單獨訪問調用。

  • 自定义权重分配:流量根據各服務的權重加權分配。例如,服務A的流量權重為100,服務B的流量權重為400,則A分配20%流量,B分配80%流量。

注意:

  • 開啟目標服務流量分配列開關,表示該服務承接流量;關閉,表示該服務不承接流量。

    重要

    無論哪種流量分配方式,關閉流量分配開關後,不再參與群組流量分配,但可單獨訪問調用。

  • 選擇自定义权重分配流量,請在流量权重列的編輯按鈕設定該服務的流量权重。

  • 支援通過API調整服務流量權重和流量狀態,詳情參見調整服務流量權重和流量狀態。