E-MapReduce:ノードラベルの使用

このトピックでは、YARN ノードラベル、その使用方法、および一般的な問題について説明します。

# デフォルトの YARN 管理者 hadoop としてコマンドを実行
sudo su - hadoop
# パーティションの追加
yarn rmadmin -addToClusterNodeLabels "DEMO"
yarn rmadmin -addToClusterNodeLabels "CORE"
# YARN ノードのリスト表示
yarn node -list
# 特定のノードをパーティションにマッピング
yarn rmadmin -replaceLabelsOnNode "core-1-1.c-XXX.cn-hangzhou.emr.aliyuncs.com=DEMO"
yarn rmadmin -replaceLabelsOnNode "core-1-2.c-XXX.cn-hangzhou.emr.aliyuncs.com=DEMO"

• ResourceManager の [Nodes] ページで、2 つのコアノード (core-1-1 と core-1-2) の [Node Labels] 列に [DEMO] と表示され、[Node State] が RUNNING になっています。これは、ノードとラベルのマッピングが有効であることを示します。

• Node Labels ページでは、テーブルに追加された 3 つのノードラベル <DEFAULT_PARTITION>、CORE、DEMO が表示されます。これらの [Label Type] は [Exclusive Partition] です。

キューパーティションの設定

Capacity Scheduler を使用するには、yarn-site.xml ファイルの yarn.resourcemanager.scheduler.class プロパティが org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler に設定されていることを確認してください。

capacity-scheduler.xml ファイルで、次のプロパティを使用してキューのアクセス可能なパーティションとキャパシティを設定します。<queue-path> をキューパスに、<label> をパーティション名に置き換えてください。DEFAULT パーティションには、通常の `capacity` または `maximum-capacity` プロパティを使用できます。

• 指定されたキューの実際のリソースキャパシティを 0 より大きくするには、そのすべての親キューで同じパーティションのキャパシティを設定する必要があります。これは、yarn.scheduler.capacity.<queue-path>.accessible-node-labels.<label>.capacity パラメーターのデフォルト値が 0 であるためです。したがって、子キューがパーティション上で 0 以外のキャパシティを持つことができるように、yarn.scheduler.capacity.root.accessible-node-labels.<label>.capacity=100 を設定する必要があります。(理論的には 0 より大きい任意の値で十分ですが、100 未満の値を設定すると、子キューの計算された実際のキャパシティが減少し、ほとんど意味がありません)。親キューのキャパシティ設定が欠落していてデフォルトの 0 になった場合、このパーティション上のターゲットキューの計算された実際のキャパシティも 0 になります。

• yarn.scheduler.capacity.root.accessible-node-labels.<label>.capacity が 0 より大きい値に設定されると、通常の yarn.scheduler.capacity.<queue-path>.capacity プロパティと同じルールが適用されます。つまり、すべての直接の子キューにわたる同じパーティションの `capacity` 値の合計は 100 でなければなりません。

  設定例：

  <configuration>
    <!-- XML でノードラベルのプロパティを追加 -->
    <property>
      <!-- デフォルトキューが DEMO パーティションにアクセスできるようにする (必須) -->
      <name>yarn.scheduler.capacity.root.default.accessible-node-labels</name>
      <value>DEMO</value>
    </property>
    <property>
      <!-- デフォルトキューのすべての親キューで DEMO パーティションのキャパシティを設定する (必須) -->
      <name>yarn.scheduler.capacity.root.accessible-node-labels.DEMO.capacity</name>
      <value>100</value>
    </property>
    <property>
      <!-- デフォルトキューの DEMO パーティションのキャパシティを設定する (必須) -->
      <name>yarn.scheduler.capacity.root.default.accessible-node-labels.DEMO.capacity</name>
      <value>100</value>
    </property>
    <property>
      <!-- オプション: DEMO パーティションにおけるデフォルトキューの最大キャパシティを設定します。デフォルトは 100 です。 -->
      <name>yarn.scheduler.capacity.root.default.accessible-node-labels.DEMO.maximum-capacity</name>
      <value>100</value>
    </property>
    <property>
      <!-- オプション: デフォルトキューに送信されるジョブのコンテナリクエストのデフォルトパーティションを設定します。デフォルトは DEFAULT パーティション "" です。 -->
      <name>yarn.scheduler.capacity.root.default.default-node-label-expression</name>
      <value>DEMO</value>
    </property>
  <configuration>