オートスケーリングを使用すると、ビジネス要件とスケーリングポリシーに基づいて、E-MapReduce (EMR) クラスター内のノード数を自動的に調整できます。これにより、EMR クラスターのコンピューティング能力が自動的に調整されます。ノードグループに、マネージドオートスケーリングルールまたはカスタムオートスケーリングルールを追加できます。ビジネスのデータ量が増加した場合は、コンピューティング能力を確保するためにノードグループにノードが追加されます。ビジネスのデータ量が減少した場合は、コストを削減するためにノードグループから一定数のノードが削除されます。
マネージドオートスケーリングとカスタムオートスケーリングの比較
項目 | マネージドオートスケーリング | カスタムオートスケーリング |
オートスケーリングルール | クラスター内のリソースを継続的に評価した結果に基づいて、EMR クラスターのオートスケーリングが実行されます。ルールを手動で設定する必要はありません。 | 時間ベースのスケーリングルールや負荷ベースのスケーリングルールなど、カスタムオートスケーリングのルールを設定する必要があります。 |
サポートされる EMR バージョン | EMR V3.43.0、EMR V5.9.0、およびこれらのバージョン以降のマイナーバージョン。 | EMR V3.42.0、EMR V5.8.0、およびこれらのバージョン以降のマイナーバージョン。 |
スケーリングの粒度 | クラスターレベルおよびインテリジェントなノードグループ選択。 | ノードグループレベル。 |
メトリック収集頻度 | 5 秒。 | 30 秒。 |
モニタリング頻度 | 5 ～ 10 秒。 | 30 秒。 |
カスタムメトリックに基づくかどうか | いいえ。 | はい。 |
シナリオ
次のシナリオでは、オートスケーリングを使用してコストを削減し、タスク実行効率を向上させることができます。
ビジネスのコンピューティング負荷の曲線に、明確なピークと谷があります。この場合は、マネージドオートスケーリングルール、または負荷ベースのスケーリングルールを追加できます。
予定された時刻にノードを追加して、一時的にコンピューティング能力を補強する必要があります。この場合は、時間ベースのスケーリングルールを追加できます。
制限
クラスタータイプ | 制限 |
データレイク、データフロー、オンライン分析処理 (OLAP)、およびカスタムクラスター | プリエンプティブルインスタンスまたは従量課金インスタンスを含むタスクノードグループのみが、オートスケーリングに対応しています。 |
Hadoop クラスター |
|
注意事項
クラスタータイプ | References |
DataLake, Dataflow, OLAP, and custom clusters | |
Hadoop clusters |