E-MapReduce:YARN スケジューラ

スケジューリングモード

Capacity Scheduler の MainScheduler は、3 つのトリガーモードをサポートしています。

グローバルスケジューリングでは、独自の設定に加えて、非同期スケジューリングのすべての設定が必要です。詳細については、「グローバルスケジューリング」をご参照ください。

アーキテクチャ (グローバルスケジューリング)

次の図は、YARN 3.2 以降に基づくグローバルスケジューリングのアーキテクチャを示しています。

MainScheduler は、非同期マルチスレッドフレームワークとして動作します。

• 割り当てスレッドは、最優先のリソース要求を特定し、リソースサイズと配置制約に基づいて候補ノードを選択し、割り当て提案を生成して中間キューに配置します。

• 投入スレッドは、割り当て提案を消費し、配置制約とアプリケーション/ノードの要件を再確認した後、各提案をコミットまたは破棄し、スケジューラの状態を更新します。

ReScheduler は、動的リソース監視フレームワークとして定期的に実行されます。キュー間プリエンプション、キュー内プリエンプション、予約リソースプリエンプションのポリシーを実装します。

Node Sorting Manager と Placement Constraint Manager は、MainScheduler のグローバルスケジューリングプラグインです。これらは、負荷分散と複雑な配置制約管理を処理します。

コンテナ割り当てプロセス

次の図は、Capacity Scheduler のグローバルスケジューリングプロセスを示しています。

MainScheduler は、6 つのステップでコンテナを割り当てます。

1. パーティション (ノードラベル) の選択。クラスターには 1 つ以上のパーティションが存在する場合があります。MainScheduler は、パーティションに順番にコンテナを割り当てます。

2. リーフキューの選択。ルートキューから下方向にトラバースし、各レベルの子キューは保証リソースの割合の昇順で探索されます。使用率が低いキュー (上図の緑色) は、使用率が高いキュー (赤色) よりも先にリソースを受け取ります。

3. アプリケーションの選択。キュー内で、MainScheduler はキューの順序付けポリシーに基づいてアプリケーションを選択します。

   • 公平ポリシー：割り当て済みメモリリソースの昇順

   • FIFO ポリシー：優先度の降順、次にアプリケーション ID の昇順

4. 要求の選択。MainScheduler は、選択されたアプリケーション内で優先度に基づいて要求を選択します。

5. ソート済み候補ノードの選択。MainScheduler は、ソート済みのすべてのノードを検索し、要求のリソース要件と配置制約を満たす候補を見つけます。

6. コンテナの割り当て。各候補ノードに対して、MainScheduler はキューとノードの割り当て済み、使用中、未確認のリソースをチェックします。チェックに合格すると、割り当て提案を生成し、提案キューに配置します。

割り当て後、投入スレッドは各提案をアプリケーション、ノード、配置制約の要件に対して検証します。検証に失敗した提案は破棄され、承認された提案は有効になり、アプリケーションとノードのリソースアカウンティングが更新されます。

プリエンプション

ReScheduler はクラスターリソースを監視し、合計利用可能リソースがしきい値を下回り、特定のアプリケーションのリソースが不足している場合にプリエンプションをトリガーします。

グローバル設定

yarn-site.xml と capacity-scheduler.xml で、次の設定を行います。

ノードハートビート設定

非同期スケジューリング

グローバルスケジューリング

グローバルスケジューリングを使用するには、前の表に記載されている非同期スケジューリングのすべての設定が必要です。

ノードパーティション設定

ノードパーティション (ノードラベル) の設定については、「ノードラベル」をご参照ください。

キュー設定

基本キュー設定

基本キュー設定では、キュー階層、保証リソース、最大リソースを定義します。次の例は、組織の部門間で共有される 4 つの子キューを持つルートキューを示しています。

キュー構造の例：

キュー	保証リソース	最大リソース	子キュー
root	100%	100%	dev, test, support, default
root.dev	50%	100%	training, services
root.dev.training	dev の 40%	dev の 100%	—
root.dev.services	dev の 60%	dev の 100%	—
root.test	30%	50%	—
root.support	10%	30%	—
root.default	10%	100%	—

次の capacity-scheduler.xml の例では、この構造を設定しています。組織のキュー構成に合わせてコピーし、調整してください。

<configuration>
  <!-- ルートレベルの子キュー -->
  <property>
    <name>yarn.scheduler.capacity.root.queues</name>
    <value>dev,test,support,default</value>
  </property>

  <!-- dev キュー: 50% 保証、100% 最大 -->
  <property>
    <name>yarn.scheduler.capacity.root.dev.capacity</name>
    <value>50</value>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.dev.maximum-capacity</name>
    <value>100</value>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.dev.queues</name>
    <value>training,services</value>
  </property>

  <!-- dev.training: dev の 40% 保証、dev の 100% 最大 -->
  <property>
    <name>yarn.scheduler.capacity.root.dev.training.capacity</name>
    <value>40</value>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.dev.training.maximum-capacity</name>
    <value>100</value>
  </property>

  <!-- dev.services: dev の 60% 保証、dev の 100% 最大 -->
  <property>
    <name>yarn.scheduler.capacity.root.dev.services.capacity</name>
    <value>60</value>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.dev.services.maximum-capacity</name>
    <value>100</value>
  </property>

  <!-- test キュー: 30% 保証、50% 最大 -->
  <property>
    <name>yarn.scheduler.capacity.root.test.capacity</name>
    <value>30</value>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.test.maximum-capacity</name>
    <value>50</value>
  </property>

  <!-- support キュー: 10% 保証、30% 最大 -->
  <property>
    <name>yarn.scheduler.capacity.root.support.capacity</name>
    <value>10</value>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.support.maximum-capacity</name>
    <value>30</value>
  </property>

  <!-- default キュー: 10% 保証、100% 最大 -->
  <property>
    <name>yarn.scheduler.capacity.root.default.capacity</name>
    <value>10</value>
  </property>
  <property>
    <name>yarn.scheduler.capacity.root.default.maximum-capacity</name>
    <value>100</value>
  </property>
</configuration>

YARN ResourceManager の [Application Queues] ページで、キュー設定が反映されていることを確認できます。キュー階層ツリーには、root の下に default、test、support、dev が表示され、dev の下に training と services のサブキューが表示されます。[dev.services] キューを展開して、実行状態の詳細を確認します：

• Queue State: RUNNING

• Effective Capacity: memory:7864, vCores:4 (60.0%)

• Effective Max Capacity: memory:26214, vCores:16 (100.0%)

• Absolute Configured Capacity: 30.0%

• Max Applications: 3000

• Ordering Policy: FifoOrderingPolicy

• Preemption: disabled

次の表は、この構造に対応する capacity-scheduler.xml パラメータを説明しています。

設定ファイル	設定項目	サンプル値	説明
capacity-scheduler.xml	yarn.scheduler.capacity.root.queues	dev,test,support,default	ルートキューの子キュー。複数のキューはカンマで区切ります。
	yarn.scheduler.capacity.root.dev.capacity	50	クラスターリソース総量に対する dev キューの保証リソースの割合。
	yarn.scheduler.capacity.root.dev.maximum-capacity	100	クラスターリソース総量に対する dev キューの最大リソースの割合。
	yarn.scheduler.capacity.root.dev.queues	training,services	dev キューの子キュー。
	yarn.scheduler.capacity.root.dev.training.capacity	40	dev の保証リソースに対する training の保証リソースの割合。
	yarn.scheduler.capacity.root.dev.training.maximum-capacity	100	dev の最大リソースに対する training の最大リソースの割合。
	yarn.scheduler.capacity.root.dev.services.capacity	60	dev の保証リソースに対する services の保証リソースの割合。
	yarn.scheduler.capacity.root.dev.services.maximum-capacity	100	dev の最大リソースに対する services の最大リソースの割合。
	yarn.scheduler.capacity.root.test.capacity	30	クラスターリソース総量に対する test キューの保証リソースの割合。
	yarn.scheduler.capacity.root.test.maximum-capacity	50	クラスターリソース総量に対する test キューの最大リソースの割合。
	yarn.scheduler.capacity.root.support.capacity	10	クラスターリソース総量に対する support キューの保証リソースの割合。
	yarn.scheduler.capacity.root.support.maximum-capacity	30	クラスターリソース総量に対する support キューの最大リソースの割合。
	yarn.scheduler.capacity.root.default.capacity	10	クラスターリソース総量に対する default キューの保証リソースの割合。
	yarn.scheduler.capacity.root.default.maximum-capacity	100	クラスターリソース総量に対する default キューの最大リソースの割合。

プリエンプション設定

プリエンプションは、テナント間での公平なリソース分配を確保し、アプリケーションの優先度を尊重します。厳格なスケジューリング要件があるクラスターでは、有効化してください。プリエンプションを使用するには YARN V2.8.0 以降が必要です。

RESTful API を使用したキュー設定の管理

YARN V3.2.0 以降では、RESTful API を使用して増分の設定更新を適用し、現在有効なすべての設定を capacity-scheduler.xml で確認できます。以前のバージョンでは、RefreshQueues 操作による全更新のみがサポートされており、有効な設定を確認する方法はありません。

RESTful API によるキュー管理を有効にするには、次の設定を yarn-site.xml に追加します：

有効な設定の確認：

• RESTful API： http://<rm-address>/ws/v1/cluster/scheduler-conf

• HDFS： ${yarn.scheduler.configuration.fs.path}/capacity-scheduler.xml.<timestamp> - タイムスタンプが最大のファイルが最新バージョンです。

設定の増分更新：

次の例では、yarn.scheduler.capacity.maximum-am-resource-percent を 0.2 に変更し、yarn.scheduler.capacity.xxx パラメータを削除します。パラメータを削除するには、value フィールドを省略します。

curl -X PUT -H "Content-type: application/json" 'http://<rm-address>/ws/v1/cluster/scheduler-conf' -d '
{
  "global-updates": [
    {
      "entry": [{
        "key": "yarn.scheduler.capacity.maximum-am-resource-percent",
        "value": "0.2"
      },{
        "key": "yarn.scheduler.capacity.xxx"
      }]
    }
  ]
}'

コンテナごとのリソース制限

単一コンテナの最大リソースは、次の設定によって決まります。コンテナ要求が上限を超えると、スケジューラは InvalidResourceRequestException: Invalid resource request... エラーをログに記録します。