E-MapReduce:カスタム自動スケーリングルールの設定

方法 1: 既存のクラスタにカスタムスケーリングルールを追加する

1. [自動スケーリング] タブに移動します。

   1. EMR コンソールにログインします。

   2. 上部のナビゲーションバーで、ビジネス要件に基づいてリージョン とリソースグループ を選択します。

   3. [ECS 上の EMR] ページで、目的のクラスタを見つけ、[クラスタ ID/名前] 列にあるクラスタの名前をクリックします。

   4. 表示されたページで、[自動スケーリング] タブをクリックします。

2. 自動スケーリングルールを設定します。

   1. [自動スケーリングの設定] タブの [自動スケーリングルールの設定] セクションで、[カスタム自動スケーリングルール] をクリックします。[自動スケーリングルールの変更] メッセージで、[再設定] をクリックします。目的のノードグループを見つけ、[アクション] 列の [編集] をクリックします。

   2. [自動スケーリングの設定] パネルで、次のパラメータを設定します。

      • 現在のノードグループのノード数量の制限: 現在のノードグループのノード数の範囲を指定します。このパラメーターは、自動スケーリングルールに基づいてノードグループが自動的にスケールインまたはスケールアウトされる際の、ノードグループ内のノード数の上限と下限を定義します。ノードグループの最大および最小ノード数を変更するには、[制限の変更] をクリックします。

        • インスタンスの最大数: 現在のノードグループのノード数の上限を指定します。ノードグループのノード数が上限に達すると、ノードグループはそれ以上スケールアウトできなくなります。

        • インスタンスの最小数: 現在のノードグループのノード数の下限を指定します。ノードグループのノード数が下限に達すると、ノードグループはそれ以上スケールインできなくなります。

      • [トリガールール] : 現在のノードグループに設定されている自動スケーリングルールを表示します。ノードグループにさらに自動スケーリングルールを追加することもできます。

        • 時間ベースのスケーリング

          クラスターのコンピューティングワークロードが定期的に変動する場合、毎日、毎週、または毎月の決まった時間に特定の数のタスクノードを追加または削除して、コンピューティングリソースを補完または節約できます。これにより、ジョブを低コストで完了させることができます。自動スケーリングルールは、スケールアウトルールとスケールインルールに分かれています。

          重要

          潜在的な競合を防ぎ、スケーリング操作がスムーズに進むようにするために、スケールアウトルールとスケールインルールの実行時間を同じ時点に設定しないでください。

          次の表は、スケールアウトルールのパラメータについて説明しています。

          パラメータ	説明
          [スケールアウトタイプ]	スケジュールされたスケーリング。
          [ルール名]	スケールアウトルールの名前。自動スケーリングルールの名前は、クラスタ内で一意である必要があります。
          [頻度]	[繰り返し実行] : 自動スケーリングは、毎日、毎週、または毎月の特定の時点に実行されます。 [1 回だけ実行] : 自動スケーリングは、特定の時点で 1 回だけ実行されます。
          [実行時間]	スケールアウトルールが実行される特定の時点。
          [ルールの有効期限]	スケールアウトルールの有効期限。スケールアウトルールが期限切れになると、スケールアウトアクティビティはトリガーされません。このパラメータは、[頻度] パラメータを [繰り返し実行] に設定した場合にのみ使用できます。
          [再試行時間範囲]	再試行間隔。さまざまな理由により、指定された時点で自動スケーリングが失敗する可能性があります。再試行間隔が指定されている場合、システムは、自動スケーリングが実行されるまで、このパラメータで指定された再試行間隔中に 30 秒ごとに自動スケーリングを再試行します。有効な値: 0 ～ 3600。単位: 秒。 例えば、自動スケーリング操作 A を指定された期間に実行する必要があるとします。この期間中に自動スケーリング操作 B がまだ進行中であるか、クールダウン状態にある場合、操作 A は実行できません。この場合、システムは指定した再試行間隔内で 30 秒ごとに操作 A の実行を試みます。必要な条件が満たされると、クラスターは直ちに自動スケーリングを実行します。
          各スケールアウトのノード数	スケールアウトルールがトリガーされるたびにノードグループに追加されるノードの数。
          [ベストエフォート配信]	スイッチをオンにすることをお勧めします。このスイッチをオンにすると、システムは正常に作成されたすべてのノードをベストエフォートで配信し、ビジネスの継続性を確保します。 たとえば、毎日 00:00 に 100 個のノードを追加するようにスケールアウトルールを設定し、90 個のノードのみが追加されたとします。[ベストエフォート配信] スイッチをオンにしていない場合、スケールアウトは失敗します。スイッチをオンにすると、90 個のノードが配信されます。

        • 負荷ベースのスケーリング

          説明

          YARN サービスがデプロイされているクラスタのみが、負荷ベースのスケーリングルールをサポートします。

          ビッグデータ計算ワークロードの変動を正確に推定できないクラスタのタスクノードグループに、負荷ベースのスケーリングルールを追加できます。自動スケーリングルールは、スケールアウトルールとスケールインルールに分けられます。次の表は、スケールアウトルールのパラメータについて説明しています。

          パラメータ	説明
          [スケールアウトタイプ]	負荷に基づいてスケールアウトします。
          [ルール名]	スケールアウトルールの名前。自動スケーリングルールの名前は、クラスタ内で一意である必要があります。
          [負荷メトリックベースのトリガー条件]	スケールアウトルールをトリガーするために満たす必要がある条件。少なくとも 1 つのシステム定義の負荷メトリックを選択する必要があります。複数のシステム定義の負荷メトリックを選択するには、Add Metric をクリックします。次のパラメータを設定する必要があります。 負荷メトリック: システム定義の YARN 負荷メトリックを選択します。EMR 自動スケーリングメトリックと YARN 負荷メトリックのマッピングについては、「YARN 負荷メトリックと一致する EMR 自動スケーリングメトリックの説明」をご参照ください。 説明 システム定義の負荷メトリックは、クラスタタイプによって異なります。サポートされているシステム定義の負荷メトリックは、EMR コンソールで確認できます。 統計方法: 各負荷メトリックのしきい値を指定するために使用されるルール。選択した各負荷メトリックの指定された集約ディメンション (平均、最大、または最小) の値が統計期間内にしきい値に達すると、スケールアウトルールが 1 回トリガーされます。
          Multi-metric Relationship	スケールアウトルールのトリガーに使用されるメトリック間の関係。 有効な値: All Metrics Meet the Conditions および Any Metric Meets the Condition。
          [統計期間]	選択した各負荷メトリックの指定された集約ディメンション (平均、最大、または最小) の値がしきい値に達しているかどうかを測定するための統計期間。データは、指定された統計期間に基づいて収集、集計、比較されます。統計期間が短いほど、スケールアウトルールがトリガーされる頻度が高くなる可能性があります。ビジネス要件に基づいて統計期間を指定します。
          [スケールアウトをトリガーする繰り返し回数]	集計方法に基づいて、Auto Scaling は負荷メトリック値がしきい値を超えた各発生を記録します。指定された発生回数に達した後にのみ、対応するスケーリングルールをトリガーします。
          各スケールアウトのノード数	スケールアウトルールがトリガーされるたびにノードグループに追加されるノードの数。
          [ベストエフォート配信]	このスイッチをオンにすると、システムは正常に作成されたすべてのノードをベストエフォートで配信します。負荷ベースのスケーリングはメトリックの影響を受けます。ビジネス要件に基づいて、スイッチをオンにするかどうかを決定できます。
          [クールダウン時間]	2 つのスケールアウトアクティビティの間隔。クールダウン時間中は、スケールアウト条件が満たされていても、スケールアウトルールはトリガーされません。スケールアウトアクティビティは、クールダウン時間が終了し、スケールアウト条件が再び満たされた後に実行されます。 ノードグループがスケールアウトされて予期された状態に達すると、クールダウン時間によって、後続のスケールアウトアクティビティをトリガーするクラスタ負荷メトリックが安定した状態に保たれます。
          [有効期間]	スケールアウトルールが有効になる時間範囲。このパラメータはオプションです。デフォルトでは、スケールアウトルールは 1 日 24 時間使用できます。スケールアウトアクティビティは、このパラメータで指定された時間範囲内でのみトリガーされます。

   3. [保存して適用] をクリックします。

      スケールアウト条件が満たされると、ノードグループに対してスケールアウトアクティビティがトリガーされます。

方法 2: クラスタの作成時にカスタム自動スケーリングルールを追加する

1. EMR コンソールにログインします。

2. 上部のナビゲーションバーで、ビジネス要件に基づいてリージョンとリソースグループを選択します。

3. [クラスタの作成] をクリックします。詳細については、「クラスタを作成する」をご参照ください。

   説明

   カスタム自動スケーリングルールを設定する前に、従量課金タスクノードグループを追加する必要があります。

4. [クラスタスケーリング] パラメータを設定します。

   1. [カスタム自動スケーリングルール] をクリックします。目的のノードグループを見つけ、[アクション] 列の [編集] をクリックします。

   2. [自動スケーリングの設定] パネルで、パラメーターを設定します。詳細については、「自動スケーリングルールを設定する」をご参照ください。

   3. [保存して適用] をクリックします。

5. 注文を確認します。

   クラスタが作成されると、特定の条件が満たされたときに、ノードグループに対してスケーリングアクティビティがトリガーされます。

方法 3: SDK を使用してカスタム自動スケーリングルールを追加する

特定の API 操作を呼び出してクラスタを作成するか、タスクノードグループを作成するときに、タスクノードグループのカスタム自動スケーリングルールを設定して、システムがノードを自動的に管理できるようにすることができます。詳細については、「CreateCluster」および「CreateNodeGroup」をご参照ください。既存のタスクノードグループのカスタム自動スケーリングルールを設定することもできます。詳細については、「PutAutoScalingPolicy」をご参照ください。

次の Java コードは、負荷ベースのスケールアウトルールを設定する方法を示しています。

// このファイルは自動生成されたものです。編集しないでください。ありがとうございます。
package com.aliyun.sample;

import com.aliyun.tea.*;

public class Sample {

    /**
     * description