全部產品
Search
文件中心

E-MapReduce:Auto Scaling

更新時間:Jan 18, 2025

Auto Scaling是E-MapReduce提供的能夠根據業務需求和策略自動調整計算能力(即節點數量)的功能。您可以為節點群組設定託管Auto Scaling或自訂Auto Scaling規則,在業務需求增長時,Auto Scaling自動為節點群組增加節點,來保證計算能力;在業務需求下降時,Auto Scaling會自動為節點群組減少節點,來節約成本。

EMR託管Auto Scaling與自訂Auto Scaling特性對比

特性

託管Auto Scaling

自訂Auto Scaling

彈性規則

無需配置規則,EMR通過持續評估叢集資源情況自動調整。

需自訂Auto Scaling的觸發規則,根據時間或負載情況配置相關參數,實現自動調整。

支援的EMR版本

EMR-3.43.0及之後版本、EMR-5.9.0及之後版本

EMR-3.42.0及之後版本、EMR-5.8.0及之後版本

彈性粒度

叢集層級,智能選擇節點群組

節點群組層級

指標收集頻率

5s

30s

監測頻率

5-10s

30s

基於自訂指標

應用情境

在以下情境中,使用E-MapReduce的Auto Scaling功能,可以協助您節省成本,提高執行效率。

  • 業務計算負載曲線有明顯的波峰波穀情況,可選擇開啟託管Auto Scaling規則或自訂Auto Scaling規則中增加按負載彈性規則。

  • 臨時需要按照時間段添加節點,快速補充計算能力,可在自訂Auto Scaling規則中增加按時間彈性規則。

使用限制

叢集類型

使用限制

DataLake、Dataflow、OLAP和Custom叢集

僅支援付費類型為搶佔式執行個體或隨用隨付的Task節點群組。

舊版Hadoop叢集

  • 僅支援付費模式為搶佔式執行個體或隨用隨付的Task節點群組。

  • 需要建立Auto Scaling專用的伸縮組,該節點群組不支援手動擴縮容。

  • 每次僅支援一個伸縮組處於開啟狀態。

  • 按時間伸縮規則和按負載伸縮規則,使用時兩者只能二選一。

使用方式

叢集類型

相關文檔

DataLake、Dataflow、OLAP和Custom叢集

舊版Hadoop叢集