すべてのプロダクト
Search
ドキュメントセンター

E-MapReduce:EMR クラスタのスケールアウト

最終更新日:Jan 11, 2025

計算リソースまたはストレージリソースが不足している E-MapReduce (EMR) クラスタにコアノードまたはタスクノードを追加して、スケールアウトできます。

前提条件

EMR クラスタが作成されていること。詳細については、「クラスタの作成」をご参照ください。

制限事項

  • マスターノードグループはスケールアウトできません。既存の EMR クラスタには、コアノードとタスクノードのみを追加できます。デフォルトでは、追加されたノードの構成は、同じノードグループ内の既存のノードの構成と同じです。

  • Hadoop クラスタの場合、[Auto Scaling] タブで作成されたノードグループはスケールアウトできません。詳細については、「自動スケーリングの設定 (Hadoop クラスタのみ)」をご参照ください。

注意事項

クラスタに StarRocks が含まれており、StarRocks が手動でアップグレードされている場合、後続のスケールアウト操作により、クラスタのバージョンに不整合が生じる可能性があります。システムが予期したとおりに動作することを保証するために、StarRocks を含むクラスタのデータとタスクを EMR Serverless StarRocks に移行することを強くお勧めします。

EMR Serverless StarRocks はオープンソースの StarRocks とシームレスに互換性があり、自動的にアップグレードできます。これにより、StarRocks を便利な方法で管理し、StarRocks の手動アップグレードによるリスクを防ぐことができます。

手順

重要

クラスタのスケールアウト操作では、既存のノードのアプリケーションプロセスは再起動されません。

  1. [ノード] タブに移動します。

    1. EMR コンソール にログインします。左側のナビゲーションペインで、[ECS 上の EMR] をクリックします。

    2. 上部のナビゲーションバーで、クラスタが存在するリージョンを選択 し、ビジネス要件に基づいてリソースグループを選択します

    3. [ECS 上の EMR] ページで、スケールアウトするクラスタを見つけ、[操作] 列の [ノード] をクリックします。

  2. [ノード] タブで、目的のノードグループを見つけ、[操作] 列の [スケールアウト] をクリックします。

  3. [スケールアウト] ダイアログボックスで、ビジネス要件に基づいてパラメータを設定します。

    パラメータ

    説明

    ノードグループ名

    ノードグループの名前。

    ノードタイプ

    ノードグループのタイプ。

    現在のインスタンスタイプ

    ノードグループのインスタンスに関する情報。

    課金方法

    クラスタの課金方法。新しいノードの課金方法はクラスタの課金方法と同じであり、変更することはできません。

    課金方法がサブスクリプションの場合、[自動更新] を有効にするかどうかを決定できます。スイッチをオンにすると、新しいノードの [サブスクリプション期間] パラメータを設定できます。

    説明

    [自動更新] を有効にすると、追加されたサブスクリプションノードは有効期限の 7 日前に自動的に更新されます。デフォルトの更新期間は 1 か月です。[自動更新] ページで更新期間を変更したり、自動更新機能を無効にしたりできます。

    vSwitch

    ノードグループにデプロイされている vSwitch に関する情報。

    現在の数量

    ノードグループのインスタンス数。

    追加されたインスタンス

    ノードグループに追加するインスタンスの数。上矢印または下矢印をクリックするか、[追加されたインスタンス] フィールドに数値を入力します。

    Cluster Expiration Time

    サブスクリプションクラスタの有効期限。

    利用規約

    利用規約を読み、同意します。

  4. [OK] をクリックします。

    新しいノードにログインする方法については、「クラスタへのログイン」をご参照ください。

次のステップ

Hadoop Distributed File System (HDFS) を使用してデータを格納する EMR クラスタのコアノードグループをスケールアウトした後、HDFS でのデータ分散が不均衡になる場合があります。この場合、HDFS Balancer を使用して、DataNode に格納されているデータを再分散できます。詳細については、「HDFS Balancer」をご参照ください。

参照資料

  • ノードグループの Elastic Compute Service (ECS) インスタンスの vCPU またはメモリがビジネス要件を満たせない場合は、ノードグループのインスタンス構成をアップグレードできます。詳細については、「ノード構成のアップグレード」をご参照ください。

  • EMR クラスタのデータディスクを拡張する方法については、「ディスクの拡張」をご参照ください。

  • クラスタのスケールアウトに関する FAQ については、「クラスタ管理に関する FAQ」をご参照ください。

  • API 操作を呼び出してクラスタをスケールアウトする方法については、「IncreaseNodes」をご参照ください。