E-MapReduce:ノードラベル

概要

ノードラベル機能を使用すると、クラスターにデプロイされている NodeManager を、異なるパーティションに基づいて管理できます。 1 つのノードは 1 つのパーティションにのみ属することができます。ノードラベル機能を使用して、クラスターを異なるノードを含む複数のパーティションに分割できます。デフォルトでは、ノードのパーティションパラメーターは空の文字列に設定されています（partition=""）。これは、ノードが DEFAULT パーティションに属していることを意味します。

Capacity Scheduler のみがノードラベル機能をサポートしています。スケジューラまたはコンピューティングエンジンの node-label-expression パラメーターを構成して、キュー内のコンテナーを、キューがアクセスできるパーティションに割り当てることができます。

ノードラベルの詳細については、「YARN ノードラベル」をご参照ください。

制限事項

• クラスターのマイナーバージョンが E-MapReduce（EMR）V5.11.1 または EMR V3.45.1 より前の場合、yarn-site.xml ファイルの yarn.node-labels.configuration-type 設定項目の値が centralized である場合、このトピックの手順に従ってノードラベル機能を使用できます。

• クラスターが EMR V5.11.1、EMR V3.45.1、または EMR V5.11.1 または EMR V3.45.1 より後のマイナーバージョンの場合、EMR コンソールで YARN パーティションを管理できます。詳細については、「EMR コンソールで YARN パーティションを管理する」をご参照ください。

ノードラベル機能の使用

EMR コンソールでノードラベル機能を有効にする

コマンドを実行してパーティションを作成し、ノードをパーティションにマップする

スケールアウトされたノードグループにある NodeManager が存在する各ノードのパーティションをシステムが自動的に指定するようにするには、1 つ以上のパーティションを作成し、ビジネス要件に基づいて yarn rmadmin -replaceLabelsOnNode コマンドをノードグループのブートストラップスクリプトに追加します。このようにして、コマンドは NodeManager が起動された後に実行されます。

# YARN のデフォルトの管理者 hadoop としてログオンします。
sudo su - hadoop
# クラスターにパーティションを作成します。
yarn rmadmin -addToClusterNodeLabels "DEMO"
yarn rmadmin -addToClusterNodeLabels "CORE"
# クラスター内の YARN ノードをクエリします。
yarn node -list
# 各ノードをパーティションにマップします。
yarn rmadmin -replaceLabelsOnNode "core-1-1.c-XXX.cn-hangzhou.emr.aliyuncs.com=DEMO"
yarn rmadmin -replaceLabelsOnNode "core-1-2.c-XXX.cn-hangzhou.emr.aliyuncs.com=DEMO"

Capacity Scheduler を使用して、キューとジョブがアクセスできるパーティションを構成する

Capacity Scheduler を使用してパーティションを構成する前に、yarn-site.xml ファイルの yarn.resourcemanager.scheduler.class パラメーターが org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler に設定されていることを確認してください。

キューに対してアクセス可能なパーティションと各パーティションで使用可能なリソース容量を指定するには、次の表に示す設定項目を capacity-scheduler.xml ファイルに追加します。<queue-path> はキューのパスに、<label> はパーティションの名前に置き換えます。 DEFAULT パーティションにキューがアクセスできるようにするには、yarn.scheduler.capacity.<queue-path>.accessible-node-labels.<label>.capacity および yarn.scheduler.capacity.<queue-path>.accessible-node-labels.<label>.maximum-capacity 設定項目のデフォルト値を使用します。

• キューで使用可能なパーティションの実際のリソース容量を 0 より大きい値に設定するには、対応するすべての祖先キューに同じリソース容量を指定する必要があります。これは、yarn.scheduler.capacity.<queue-path>.accessible-node-labels.<label>.capacity 設定項目のデフォルト値がすべてのキューで 0 であるためです。ルートキューの yarn.scheduler.capacity.root.accessible-node-labels.<label>.capacity 設定項目を 100 に設定する必要があります。このようにして、すべての子孫キューで使用可能なパーティションの実際のリソース容量を 0 より大きくすることができます。理論的には、ルートキューの設定項目を 0 より大きい値に設定するだけで済みます。ただし、設定項目を 100 より小さい値に設定すると、子孫キューの実際のリソース容量は計算値よりも小さくなります。この場合、構成は無意味です。キューの祖先キューで使用可能なパーティションのデフォルトリソース容量が 0 に設定されている場合、キューで使用可能なパーティションの実際のリソース容量は依然として 0 です。

• ルートキューの yarn.scheduler.capacity.root.accessible-node-labels.<label>.capacity 設定項目を 0 より大きい値に設定した場合、同じパーティション内の対応する子キューのリソース容量の合計は 100 である必要があります。同じルールが yarn.scheduler.capacity.<queue-path>.capacity 設定項目にも適用されます。

  次のサンプルコードは、パーティションとリソース容量を構成する方法の例を示しています。

  <configuration>
    <!-- ノードラベルに関連する設定項目を capacity-scheduler.xml ファイルに追加します。 -->
    <property>
      <!-- 必須。 DEMO パーティションがデフォルトキューにアクセスできるように指定します。 -->
      <name>yarn.scheduler.capacity.root.default.accessible-node-labels</name>
      <value>DEMO</value>
    </property>
    <property>
      <!-- 必須。 DEMO パーティションのデフォルトキューのすべての祖先キューで使用可能なリソース容量を指定します。 -->
      <name>yarn.scheduler.capacity.root.accessible-node-labels.DEMO.capacity</name>
      <value>100</value>
    </property>
    <property>
      <!-- 必須。 DEMO パーティションのデフォルトキューで使用可能なリソース容量を指定します。 -->
      <name>yarn.scheduler.capacity.root.default.accessible-node-labels.DEMO.capacity</name>
      <value>100</value>
    </property>
    <property>
      <!-- オプション。 DEMO パーティションのデフォルトキューで使用可能な最大リソース容量を指定します。デフォルト値は 100 です。 -->
      <name>yarn.scheduler.capacity.root.default.accessible-node-labels.DEMO.maximum-capacity</name>
      <value>100</value>
    </property>
    <property>
      <!-- オプション。デフォルトキューによって送信されたジョブのコンテナーが送信されるデフォルトパーティションを指定します。デフォルト値は空の文字列で、DEFAULT パーティションを示します。 -->
      <name>yarn.scheduler.capacity.root.default.default-node-label-expression</name>
      <value>DEMO</value>
    </property>
  <configuration>
  
                          

よくある質問

HA クラスターで集中モードで構成されたノード label のデータが分散ファイルシステムに保存されるのはなぜですか。

ノードをパーティションにマップするときに、NodeManager のポートが指定されないのはなぜですか。

EMR クラスターのノードには、NodeManager が 1 つだけ存在します。 したがって、NodeManager のポートを指定する必要はありません。 NodeManager の無効なポートまたはランダムなポートを指定すると、yarn rmadmin -replaceLabelsOnNode コマンドを実行するときに、指定したノードを指定したパーティションにマップできません。 yarn node -list -showDetails コマンドを実行して、ノードが属するパーティションをクエリできます。

ノード label のユースケースシナリオは何ですか。

ほとんどの場合、ノード label 機能は EMR クラスターでは有効になっていません。 これは、オープンソースの Hadoop YARN サービスによって収集された統計情報が、ノードのパーティションマッピングではなく、DEFAULT パーティションのステータスのみを考慮しているためです。 これにより、O&M の複雑さが増します。 また、パーティションスケジューリングでは、クラスター内のリソースが十分に活用されない場合があります。 これにより、リソースが無駄になります。 ノード label はさまざまなシナリオに適しています。 たとえば、バッチジョブとストリーミングジョブを分離して、ジョブがクラスター内の異なるパーティションで同時に実行できるようにすることができます。 パーティションマッピングが実行された後、重要度の高いジョブを、柔軟に追加されていないノードで実行できます。 クラスター内のノードの仕様が異なる場合は、異なるパーティションのノードでジョブを実行して、リソースの不均衡を防ぐことができます。