マネージドオートスケーリングを使用すると、タスクノードの最小数と最大数を設定できます。E-MapReduce (EMR) は、ワークロードに基づいてタスクノードの数を自動的に調整し、過去のジョブ実行履歴に基づいてリソース割り当てを最適化します。これにより、コストを管理しながらジョブの完了を保証します。
前提条件
DataLake クラスタ、Dataflow クラスタ、オンライン分析処理 (OLAP) クラスタ、DataServing クラスタ、またはカスタムクラスタが作成されています。詳細については、「クラスタを作成する」をご参照ください。
クラスター内に、従量課金インスタンスまたはプリエンプティブルインスタンスを含むタスクノードグループが作成されていること。詳細については、「ノードグループの作成」をご参照ください。
制限事項
Elastic Compute Service (ECS) インスタンスの不足による自動スケーリングの失敗を防ぐために、ノードグループを追加する際に複数のインスタンスタイプを選択できます。最大 10 個の ECS インスタンスタイプを選択できます。ノードは、リスト内のインスタンスタイプの順序に基づいて作成されます。デフォルトでは、クラスターがスケールアウトされる際に、最初に選択されたインスタンスタイプが優先的に使用されます。インスタンスタイプが利用できない場合は、次のインスタンスタイプが使用されます。ノードの作成に使用されるインスタンスタイプは、在庫状況によって異なります。
-
マネージドオートスケーリングルールは、YARN サービスがデプロイされているクラスターでのみサポートされます。
-
クラスターに Trino、Presto、StarRocks、Impala、または ClickHouse サービスがデプロイされている場合、マネージドオートスケーリングの効果は保証されません。
注意事項
オートスケーリングモードを切り替えると、既存のすべてのルールが無効になります。 ご注意ください。
操作手順
方法 1：既存のクラスターの場合
マネージドオートスケーリングを有効にすると、システムはクラスターの YARN 負荷を継続的に監視し、過去のピーク負荷の変動を分析して、タスクノードの数を自動的に調整します。
[自動スケーリング] タブに移動します。
上部のナビゲーションバーで、ビジネス要件に基づいてリージョン とリソースグループ を選択します。
[ECS 上の EMR] ページで、目的のクラスタを見つけ、[クラスタ ID/名前] 列にあるクラスタの名前をクリックします。
表示されたページで、[自動スケーリング] タブをクリックします。
-
Auto Scaling の設定 タブの Auto Scaling ルールの設定 セクションで、マネージド Auto Scaling ルール をクリックします。
-
スケーリングルールを設定します。
-
表示されたダイアログボックスで 再設定 をクリックし、次のパラメーターを設定します：
-
[タスクノードの最小数]：スケールイン時にクラスターに保持するタスクノードの最小数。
-
[タスクノードの最大数]：スケールアウト時のクラスター内のタスクノードの最大数。
-
[従量課金タスクノードの最大数]：スケールアウトがトリガーされたときに追加できる従量課金ノードの最大数。 このパラメーターは、プリエンプティブルインスタンスに対する従量課金ノードの割合を定義します。 デフォルトでは、タスクノードの最大数の値と同じです。
説明クラスターにプリエンプティブルインスタンスで構成されたタスクノードグループがある場合、[従量課金タスクノードの最大数] の値は [タスクノードの最大数] の値よりも小さくすることができます。 たとえば、タスクノードの最小数が 0、タスクノードの最大数が 20、従量課金タスクノードの最大数が 15 に設定されている場合、システムはスケールアウト時にまず 15 の従量課金ノードを追加しようとします。 さらに容量が必要な場合、システムは残りのノードをプリエンプティブルインスタンスを使用してプロビジョニングします。
-
-
設定が完了したら、Save and Apply をクリックします。
-
方法 2：クラスター作成時
-
EMR on ECS コンソールにログインします。
-
上部メニューで、必要なリージョンとリソースグループを選択します。
-
CREATE_CLUSTER をクリックします。 パラメーターの詳細については、「クラスターの作成」をご参照ください。
説明ルールを設定するには、まず従量課金またはプリエンプティブルインスタンスを使用するタスクノードグループを追加する必要があります。
-
クラスターのスケーリング を設定します：
-
マネージド Auto Scaling ルール を選択します。
-
マネージド Auto Scaling ルール の横にある 編集 をクリックし、パラメーターを設定してから Save and Apply をクリックします。
-
[タスクノードの最小数]：スケールイン時にクラスターに保持するタスクノードの最小数。
-
[タスクノードの最大数]：スケールアウト時のクラスター内のタスクノードの最大数。
-
[従量課金タスクノードの最大数]：スケールアウトがトリガーされたときに追加できる従量課金ノードの最大数。 このパラメーターは、プリエンプティブルインスタンスに対する従量課金ノードの割合を定義します。 デフォルトでは、タスクノードの最大数の値と同じです。
説明クラスターにプリエンプティブルインスタンスで構成されたタスクノードグループがある場合、[従量課金タスクノードの最大数] の値は [タスクノードの最大数] の値よりも小さくすることができます。 たとえば、タスクノードの最小数が 0、タスクノードの最大数が 20、従量課金タスクノードの最大数が 15 に設定されている場合、システムはスケールアウト時にまず 15 の従量課金ノードを追加しようとします。 さらに容量が必要な場合、システムは残りのノードをプリエンプティブルインスタンスを使用してプロビジョニングします。
-
-
-
注文を確認し、クラスターを作成します。