Hadoop クラスターのコンピューティングキャパシティーで、指定した期間中に重大なピークとトラフが見られる場合は、いくつかのタスクノードに一定の期間を設定してコンピューティングキャパシティーを補います。 これによってジョブが完了したことが保証されるだけでなく、費用も抑えられます。

拡張ノードは従量課金モードで課金されます。 しかしながら、同じコンピューティングキャパシティーに対して、従量課金モードとサブスクリプションモードの間の価格比は約 3:1 です。 したがって、両方のモードに対して必要な時間に基づいて両方のモードの比率を計画する必要があります。 たとえば、1 日のピーク業務時間が 8 時間ある場合は、従量課金モードの価格は基本的にサブスクリプションモードの価格と同じです。 ピークが 8 時間以上続く場合は、サブスクリプションモードの方が従量課金モードより費用対効果がよいです。

スケーリングインスタンスの数の設定

  • 最大ノード数は、拡張可能なノードの最大数です。 最大ノード数に達すると、Auto Scaling ルールが満たされていても、拡張と縮小が停止されます。 現在、最大 1,000 個のタスクノードを設定します。
  • 最小ノード数は、拡張可能なノードの最低値です。 Auto Scaling ルールに設定されたタスクノードの数が最小ノード数より少ない場合は、クラスターは最初の実行時の最小ノード数に基づいて拡張されます。

    たとえば、Auto Scaling ルールが毎日 00:00:00 に 1 ノードを拡張するように設定されていて、最小ノード数が 3 の場合は、システムによって初日の 00:00:00 に 3 ノードが拡張されます。

スケーリングルールの設定

Auto Scaling ルール には拡張ルールと縮小ルールがあります。 Auto Scaling が無効化されると、すべてのルールはクリアされます。 Auto Scaling が再度有効化されると、スケーリングルールは再設定される必要があります。
  • [ルール名] については、クラスターでは、スケーリングルール名 (拡張ルールと縮小ルールを含む) は繰り返されません。
  • 実行サイクル
    • [1 回のみ実行] では、指定された時間にクラスターでスケーリング操作が実行されます。
    • [繰り返し] では、毎日、毎週、または毎月指定された時間に スケーリング操作が実行されるよう選択します。
  • [リトライタイムアウト] では、指定された時間にスケーリングが実行されません。 リトライタイムアウトを設定することによって、システムによって時間の範囲内で 30 秒ごとにスケーリングが実行されることが検出されます。 条件が満たされると、スケーリングが実行されます。 範囲は 0 秒から 21600 秒です。

    拡張 A が指定された期間内に実行される必要があるが、拡張 B が実行中、またはクラスターがクールダウンタイム中の場合は、拡張 A は実行されないと推測されます。 設定したリトライタイムアウト中に、システムによって 30 秒ごとに拡張 A が実行されることが検出されます。 条件が満たされると、クラスターでは直ちにスケーリングが実行されます。

  • [タスクノードの増加量]は、ルールがトリガーされるたびに、クラスターによって増やされる、または減らされるタスクノードの数です。
  • [クールダウンタイム] は、スケーリング操作が完了してから同じ操作が再度実行されるまでの間隔です。 クールダウンタイムの間はスケーリング操作が実行されません。

スケーリングインスタンスの仕様の設定

Auto Scaling が有効化されるときに、スケーリングノードに対してハードウェア仕様を指定します。 設定が保存された後に、仕様は変更されません。 仕様を変更する必要がある場合は、Auto Scaling を無効化してから再度有効化します。

  • vCPU とメモリの仕様を選択するとき、基準を満たすインスタンスがシステムによって自動的に照合され、それらのインスタンスが下のインスタンスリストに表示されます。 選択されたインスタンスの仕様に従ってクラスターを拡張するために、右側のリストにオプションのインスタンスを追加する必要があります。
  • ECS インスタンスストレージが不十分なために発生するスケーリングの失敗を避けるために、最大 3 つの ECS インスタンスタイプを選択します。
  • 高効率クラウドディスクまたは SSD クラウドディスクのどちらを選択したかにかかわらず、データディスクは最低限 40 GB に設定されます。