マネージド自動スケーリング機能を使用すると、タスクノードの最大数と最小数を設定できます。このようにして、E-MapReduce (EMR) は、ワークロードに基づいてタスクノードの数を自動的に調整し、ジョブ実行履歴に基づいてリソース割り当てを最適化できます。これにより、タスクのスムーズな実行が保証され、コストが削減されます。このトピックでは、EMR コンソールでマネージド自動スケーリングルールを追加する方法について説明します。
前提条件
DataLake クラスタ、Dataflow クラスタ、オンライン分析処理 (OLAP) クラスタ、DataServing クラスタ、またはカスタムクラスタが作成されていること。詳細については、「クラスタを作成する」をご参照ください。
従量課金インスタンスまたはプリエンプティブルインスタンスを含むタスクノードグループがクラスタ内に作成されていること。詳細については、「ノードグループを作成する」をご参照ください。
制限事項
Elastic Compute Service (ECS) インスタンスの不足による自動スケーリングの失敗を防ぐために、ノードグループを追加するときに複数のインスタンスタイプを選択できます。最大 10 個の ECS インスタンスタイプを選択できます。ノードは、リスト内のインスタンスタイプの順序に基づいて作成されます。デフォルトでは、クラスタがスケールアウトされるときに、最初に選択されたインスタンスタイプが優先的に使用されます。インスタンスタイプが使用できない場合は、次のインスタンスタイプが使用されます。ノードの作成に使用される実際のインスタンスタイプは、インベントリの可用性によって異なります。
YARN サービスがデプロイされているクラスタのみが、マネージド自動スケーリングルールをサポートします。
Trino、Presto、StarRocks、Impala、または ClickHouse サービスがクラスタにデプロイされている場合、マネージド自動スケーリングルールが無効になる可能性があります。
使用上の注意
自動スケーリングモードを切り替えると、元の自動スケーリングルールが無効になる場合があります。自動スケーリングモードを切り替えるときは注意してください。
手順
方法 1：既存のクラスタにマネージドスケーリングルールを追加する
マネージド自動スケーリング機能が有効になると、システムは YARN クラスタの負荷を継続的に監視し、過去一定期間のピーク負荷を計算して、タスクノードの数を自動的に調整します。
［Auto Scaling］タブに移動します。
EMR コンソールにログインします。左側のナビゲーションウィンドウで、［EMR on ECS］をクリックします。
上部のナビゲーションバーで、ビジネス要件に基づいてリージョンとリソースグループを選択します。
［EMR on ECS］ページで、目的のクラスタを見つけ、［クラスタ ID/名前］列にあるクラスタ名をクリックします。
表示されたページで、[auto Scaling] タブをクリックします。
[auto Scaling の設定] サブタブの [auto Scaling ルールの設定] セクションで、[マネージド Auto Scaling ルール] をクリックします。
自動スケーリングルールを設定します。
表示されたダイアログボックスで、[再構成] をクリックし、関連パラメーターを設定します。
[タスクノードの最小数]：マネージドスケールインルールがトリガーされたときに、クラスタの自動スケーリング用に予約されているタスクノードの最小数。
[タスクノードの最大数]：マネージドスケールアウトルールがトリガーされたときに、クラスタの自動スケーリング用に予約されているタスクノードの最大数。
[従量課金タスクノードの最大数]：スケールアウトがトリガーされた後に追加できる従量課金ノードの最大数。このパラメーターは、従量課金ノードとプリエンプティブルインスタンスの比率を設定するために使用されます。デフォルト値は、タスクノードの最大数です。
説明クラスタにプリエンプティブルインスタンスのタスクノードグループがある場合、[従量課金タスクノードの最大数] の値は、[タスクノードの最大数] の値よりも小さくすることができます。たとえば、タスクノードの最小数が 0、タスクノードの最大数が 20、従量課金タスクノードの最大数が 15 に設定されている場合、システムはスケールアウトプロセス中に最初に 15 個の従量課金ノードを追加しようとします。さらにノードが必要な場合は、代わりにプリエンプティブルインスタンスを追加します。
[保存して適用] をクリックします。
方法 2：クラスタの作成時にマネージド自動スケーリングルールを追加する
EMR コンソールにログインします。左側のナビゲーションウィンドウで、［EMR on ECS］をクリックします。
上部のナビゲーションバーで、クラスタが存在するリージョンを選択し、ビジネス要件に基づいてリソースグループを選択します。
[クラスタの作成] をクリックします。パラメーターの詳細については、「クラスタを作成する」をご参照ください。
説明マネージド自動スケーリングルールを設定する前に、クラスタに、従量課金またはプリエンプティブルインスタンス用のタスクノードグループを追加する必要があります。
[クラスタの自動スケーリング] を設定します。
[マネージド Auto Scaling ルール] を選択します。
[マネージド Auto Scaling ルール] の横にある [編集] をクリックし、パラメーターを設定して、[保存して適用] をクリックします。
[タスクノードの最小数]：マネージドスケールインルールがトリガーされたときに、クラスタの自動スケーリング用に予約されているタスクノードの最小数。
[タスクノードの最大数]：マネージドスケールアウトルールがトリガーされたときに、クラスタの自動スケーリング用に予約されているタスクノードの最大数。
[従量課金タスクノードの最大数]：スケールアウトがトリガーされた後に追加できる従量課金ノードの最大数。このパラメーターは、従量課金ノードとプリエンプティブルインスタンスの比率を設定するために使用されます。デフォルト値は、タスクノードの最大数です。
説明クラスタにプリエンプティブルインスタンスのタスクノードグループがある場合、[従量課金タスクノードの最大数] の値は、[タスクノードの最大数] の値よりも小さくすることができます。たとえば、タスクノードの最小数が 0、タスクノードの最大数が 20、従量課金タスクノードの最大数が 15 に設定されている場合、システムはスケールアウトプロセス中に最初に 15 個の従量課金ノードを追加しようとします。さらにノードが必要な場合は、代わりにプリエンプティブルインスタンスを追加します。
注文を確認します。