コンピューティングリソースまたはストレージリソースが不足した場合、E-MapReduce (EMR) クラスターにコアノードまたはタスクノードを追加します。スケールアウトによって、既存のノード上のアプリケーションプロセスが再起動されることはありません。
前提条件
作業を開始する前に、以下を確認してください。
-
EMR クラスターが作成済みであること。 詳細については、「クラスターの作成」をご参照ください。
制限事項
-
追加できるのはコアノードとタスクノードのみです。マスターノードグループはスケールアウトできません。
-
新しいノードは、同じノードグループ内の既存のノードの設定を継承します。
-
Hadoop クラスターの場合、[Auto Scaling] タブで作成されたノードグループはスケールアウトできません。 詳細については、「Auto Scaling の設定 (Hadoop クラスターのみ)」をご参照ください。
注意事項
StarRocks クラスター:手動でアップグレードされた StarRocks がクラスターに含まれている場合、スケールアウトするとバージョンの不整合が発生する可能性があります。オープンソースの StarRocks と互換性があり、自動アップグレードをサポートする EMR Serverless StarRocks にデータとタスクを移行してください。
クラスターのスケールアウト
-
EMR コンソールにログインします。 左側のナビゲーションウィンドウで、EMR on ECS をクリックします。
-
上部のナビゲーションバーで、クラスターが存在するリージョンを選択し、リソースグループを選択します。
-
EMR on ECS ページで対象のクラスターを見つけ、[操作] 列の ノード をクリックします。
-
[ノード] タブで、スケールアウトするノードグループを見つけ、[操作] 列の スケールアウト をクリックします。
-
[スケールアウト] ダイアログボックスで、次のパラメーターを設定します。
パラメーター 説明 ノードグループ名 ノードグループの名前。 ノードタイプ ノードグループのタイプ。 現在のインスタンスタイプ ノードグループ内のインスタンスに関する情報。 課金方法 クラスターから継承された課金方法。変更はできません。 課金方法が サブスクリプション の場合、自動更新 を有効にし、新しいノードの サブスクリプション期間 を設定できます。 自動更新を有効にすると、ノードは有効期限が切れる 7 日前に自動的に更新されます。 デフォルトの更新期間は 1 か月です。 更新期間の変更や自動更新の無効化は、[自動更新] ページで行うことができます。 vSwitch ノードグループに設定されている vSwitch。 現在の数量 ノードグループ内の現在のインスタンス数。 追加済みインスタンス 追加するインスタンスの数。矢印をクリックするか、数値を入力します。 クラスターの有効期限 サブスクリプションクラスターの有効期限。 利用規約 続行する前に、規約を読んで同意してください。 -
OK をクリックします。
新しく追加されたノードにログインする方法については、「クラスターへのログイン」をご参照ください。
次のステップ
ストレージに Hadoop 分散ファイルシステム (HDFS) を使用するコアノードグループをスケールアウトした後、DataNode 間のデータ分散が不均衡になることがあります。HDFS Balancer を実行してデータを再分散してください。 詳細については、「HDFS Balancer」をご参照ください。
参考資料
-
インスタンス設定のアップグレード:ノードグループ内の Elastic Compute Service (ECS) インスタンスの vCPU またはメモリが要件を満たさなくなった場合は、インスタンスタイプをアップグレードします。 詳細については、「ノード設定のアップグレード」をご参照ください。
-
ストレージの拡張:EMR クラスターのデータディスクを拡張するには、「ディスクの拡張」をご参照ください。
-
スケールアウトの問題のトラブルシューティング:「クラスター管理に関するよくある質問」をご参照ください。
-
API によるスケールアウト: プログラムによるスケールアウトには、IncreaseNodes 操作を使用します。