E-MapReduce:ノードラベルの使用

背景情報

YARN のノードラベルは、YARN の NodeManager ノードをパーティション分割します。1 つのノードは 1 つのノードラベルにしか割り当てられないため、ノードラベルを使用して YARN クラスターを互いに素なノードのセットに分割できます。デフォルトでは、ノードは DEFAULT パーティション (partition=""、空文字列) に属します。

キャパシティスケジューラは、ノードラベルを使用したパーティションベースのスケジューリングをサポートする唯一のスケジューラです。スケジューラを設定するか、コンピューティングエンジンの node-label-expression パラメーターを使用して、キューのコンテナをアクセス可能なパーティションに割り当てることができます。

ノードラベルの詳細については、「YARN ノードラベル」をご参照ください。

制限事項

• このトピックは、yarn-site.xml ファイルの yarn.node-labels.configuration-type パラメーターが centralized に設定されている、EMR-5.11.1 および EMR-3.45.1 より前のバージョンの EMR に適用されます。

• EMR バージョン 5.11.1 以降および 3.45.1 以降では、EMR コンソールでの YARN パーティションの管理をサポートしています。詳細については、「EMR コンソールでの YARN パーティションの管理」をご参照ください。

操作手順

コンソールでのノードラベルの有効化

コマンドを使用したノードラベルの追加とノードのマッピング

スケールアウト中に弾性ノードグループの NodeManager ノードにパーティションを自動的に割り当てるには、パーティションを作成した後、そのノードグループのブートストラップスクリプトに replaceLabelsOnNode コマンドを追加します。このスクリプトは、ノードコンポーネントが起動した後に実行されます。

# デフォルトの YARN 管理者 hadoop としてコマンドを実行
sudo su - hadoop
# パーティションの追加
yarn rmadmin -addToClusterNodeLabels "DEMO"
yarn rmadmin -addToClusterNodeLabels "CORE"
# YARN ノードの一覧表示
yarn node -list
# 特定のノードをパーティションにマッピング
yarn rmadmin -replaceLabelsOnNode "core-1-1.c-XXX.cn-hangzhou.emr.aliyuncs.com=DEMO"
yarn rmadmin -replaceLabelsOnNode "core-1-2.c-XXX.cn-hangzhou.emr.aliyuncs.com=DEMO"

キューパーティションの設定

キャパシティスケジューラを使用するには、「yarn-site.xml」ファイルの yarn.resourcemanager.scheduler.class プロパティが org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler に設定されていることを確認してください。

「capacity-scheduler.xml」ファイルで、次のプロパティを使用してキューのアクセス可能なパーティションとキャパシティを設定します。<queue-path> をキューパスに、<label> をパーティション名に置き換えます。DEFAULT パーティションには、通常の capacity または maximum-capacity プロパティを使用できます。

• 指定されたキューが 0 より大きい実際のリソースキャパシティを持つためには、そのすべての祖先キューで同じパーティションのキャパシティを設定する必要があります。これは、yarn.scheduler.capacity.<queue-path>.accessible-node-labels.<label>.capacity パラメーターのデフォルト値が 0 であるためです。したがって、その子キューがパーティション上でゼロ以外のキャパシティを持てるように、yarn.scheduler.capacity.root.accessible-node-labels.<label>.capacity=100 を設定する必要があります。(理論的には 0 より大きい任意の値で十分ですが、100 未満の値を設定すると、子キューで計算される実際のキャパシティが減少し、ほとんど意味がありません)。祖先キューのキャパシティ設定が欠落してデフォルトの 0 になった場合、対象キューのこのパーティションで計算される実際のキャパシティも 0 になります。

• yarn.scheduler.capacity.root.accessible-node-labels.<label>.capacity が 0 より大きい値に設定されると、通常の yarn.scheduler.capacity.<queue-path>.capacity プロパティと同じルールが適用されます。つまり、すべての直接の子キューで、同じパーティションの capacity 値の合計が 100 になる必要があります。

  設定例：

  <configuration>
    <!-- XML にノードラベルのプロパティを追加 -->
    <property>
      <!-- default キューが DEMO パーティションにアクセスできるようにする (必須) -->
      <name>yarn.scheduler.capacity.root.default.accessible-node-labels</name>
      <value>DEMO</value>
    </property>
    <property>
      <!-- default キューのすべての祖先キューに DEMO パーティションのキャパシティを設定する (必須) -->
      <name>yarn.scheduler.capacity.root.accessible-node-labels.DEMO.capacity</name>
      <value>100</value>
    </property>
    <property>
      <!-- default キューに DEMO パーティションのキャパシティを設定する (必須) -->
      <name>yarn.scheduler.capacity.root.default.accessible-node-labels.DEMO.capacity</name>
      <value>100</value>
    </property>
    <property>
      <!-- オプション：DEMO パーティション内の default キューの最大キャパシティを設定する。デフォルトは 100。 -->
      <name>yarn.scheduler.capacity.root.default.accessible-node-labels.DEMO.maximum-capacity</name>
      <value>100</value>
    </property>
    <property>
      <!-- オプション：default キューにサブミットされたジョブのコンテナリクエストのデフォルトパーティションを設定する。デフォルトは DEFAULT パーティション "" -->
      <name>yarn.scheduler.capacity.root.default.default-node-label-expression</name>
      <value>DEMO</value>
    </property>
  <configuration>
                          

よくある質問

HA クラスターにおけるノードラベルデータのストレージ

NodeManager ポートの指定

EMR クラスターでは、各ノードは最大で 1 つの NodeManager プロセスしか実行しないため、ポートの指定は不要です。不正なポートやランダムなポートを指定すると、replaceLabelsOnNode コマンドはノードをパーティションにマッピングできなくなります。yarn node -list -showDetails を実行して、ノードの現在のパーティションを表示できます。

ノードラベルのユースケース

ほとんどの場合、EMR クラスターでノードラベルは不要です。オープンソースの Hadoop YARN の多くのメトリクスはパーティションを考慮せず、DEFAULT パーティションのステータスのみを報告するため、運用の複雑さが増します。パーティションベースのスケジューリングは、全体的なリソース使用率を低下させ、リソースの無駄遣いにつながる可能性もあります。典型的なユースケースには、パーティションによるバッチジョブとストリーミングジョブの分離、重要なジョブの非弾性ノードへの固定、リソースの不均衡を防ぐための異なるインスタンスタイプの個別パーティションへの対応などがあります。

関連ドキュメント

パーティションごとにクラスターノードを管理するには、「ノードラベルを使用したノードのパーティション分割」をご参照ください。