Auto Scaling是E-MapReduce提供的能夠根據業務需求和策略自動調整計算能力(即節點數量)的功能。您可以為節點群組設定託管Auto Scaling或自訂Auto Scaling規則,在業務需求增長時,Auto Scaling自動為節點群組增加節點,來保證計算能力;在業務需求下降時,Auto Scaling會自動為節點群組減少節點,來節約成本。
EMR託管Auto Scaling與自訂Auto Scaling特性對比
特性 | 託管Auto Scaling | 自訂Auto Scaling |
彈性規則 | 無需配置規則,EMR通過持續評估叢集資源情況自動調整。 | 需自訂Auto Scaling的觸發規則,根據時間或負載情況配置相關參數,實現自動調整。 |
支援的EMR版本 | EMR-3.43.0及之後版本、EMR-5.9.0及之後版本 | EMR-3.42.0及之後版本、EMR-5.8.0及之後版本 |
彈性粒度 | 叢集層級,智能選擇節點群組 | 節點群組層級 |
指標收集頻率 | 5s | 30s |
監測頻率 | 5-10s | 30s |
基於自訂指標 | 否 | 是 |
應用情境
在以下情境中,使用E-MapReduce的Auto Scaling功能,可以協助您節省成本,提高執行效率。
業務計算負載曲線有明顯的波峰波穀情況,可選擇開啟託管Auto Scaling規則或自訂Auto Scaling規則中增加按負載彈性規則。
臨時需要按照時間段添加節點,快速補充計算能力,可在自訂Auto Scaling規則中增加按時間彈性規則。
使用限制
叢集類型 | 使用限制 |
DataLake、Dataflow、OLAP和Custom叢集 | 僅支援付費類型為搶佔式執行個體或隨用隨付的Task節點群組。 |
舊版Hadoop叢集 |
|
使用方式
叢集類型 | 相關文檔 |
DataLake、Dataflow、OLAP和Custom叢集 | |
舊版Hadoop叢集 |