自動スケーリングは、ビジネス要件とスケーリングポリシーに基づいて、E-MapReduce（EMR）クラスタ内のノード数を自動的に調整できます。このようにして、EMR クラスタの計算能力が自動的に調整されます。ノードグループにマネージド自動スケーリングルールまたはカスタム自動スケーリングルールを追加できます。ビジネスデータの量が増加すると、計算能力を確保するためにノードグループにさらにノードが追加されます。ビジネスデータの量が減少すると、コストを削減するためにノードグループから一定数のノードが削除されます。
マネージド自動スケーリングとカスタム自動スケーリングの比較
項目 | マネージド自動スケーリング | カスタム自動スケーリング |
自動スケーリングルール | クラスタ内のリソースの継続的な評価に基づいて、EMR クラスタに対して自動スケーリングが実行されます。ルールを手動で設定する必要はありません。 | 時間ベースまたは負荷ベースのスケーリングルールなど、カスタム自動スケーリングルールを設定する必要があります。 |
サポートされている EMR バージョン | EMR V3.43.0、EMR V5.9.0、および EMR V3.43.0 と EMR V5.9.0 以降のマイナーバージョン。 | EMR V3.42.0、EMR V5.8.0、および EMR V3.42.0 と EMR V5.8.0 以降のマイナーバージョン。 |
スケーリングの粒度 | クラスタレベルおよびインテリジェントノードグループ選択。 | ノードグループレベル。 |
メトリック収集頻度 | 5 秒。 | 30 秒。 |
監視頻度 | 5～10 秒。 | 30 秒。 |
カスタムメトリックに基づく | いいえ。 | はい。 |
シナリオ
コストを削減し、タスク実行効率を向上させるために、次のシナリオで自動スケーリングを使用できます。
ビジネスコンピューティング負荷の曲線には、顕著なピークと谷があります。この場合、マネージド自動スケーリングルールまたは負荷ベースのスケーリングルールを追加できます。
スケジュールされた時間にノードを追加して、計算能力を一時的に補う必要があります。この場合、時間ベースのスケーリングルールを追加できます。
制限
クラスタタイプ | 制限 |
DataLake、Dataflow、オンライン分析処理（OLAP）、およびカスタムクラスタ | プリエンプティブルインスタンスまたは従量課金インスタンスを含むタスクノードグループのみが自動スケーリングをサポートします。 |
Hadoop クラスタ |
|
使用上の注意
クラスタタイプ | 参照 |
DataLake、Dataflow、OLAP、およびカスタムクラスタ | |
Hadoop クラスタ |