YARN は、分散リソース管理システムであり、Hadoop のコアコンポーネントです。クラスターリソースの管理、ジョブのスケジューリング、タスクのモニタリングを行います。
用語
|
名前 |
説明 |
|
ResourceManager |
クラスターリソースの管理とスケジューリングを行い、YARN 上で実行されるジョブにリソースを割り当てます。 非 HA クラスターでは、ResourceManager は EMR マスターノードにデプロイされます。HA クラスターでは、高可用性のために複数のマスターノードにデプロイされます。 |
|
NodeManager |
個々のノード上でリソースの管理、ステータスのモニタリング、ジョブの実行を行います。 EMR クラスターのコアノードまたはタスクノードにデプロイされます。 |
|
MapReduce History Server (MRHistoryServer) |
MapReduce ジョブのメトリクスを解析し、ジョブの実行ステータスを表示します。 また、期限切れの集計ログを定期的に削除します。 |
|
TimelineServer |
ジョブのメトリクスを収集し、ジョブの実行ステータスを表示します。 説明
TimelineServer は、個々のジョブのリソース使用状況のみをモニタリングします。データジョブの開発、実行、送信には影響しません。 |
|
WebAppProxyServer |
Web ベースの攻撃を軽減するために、ジョブのリンクをリダイレクトします。 |
|
ApplicationMaster |
アプリケーションのライフサイクルを管理します。 ApplicationMaster は、ResourceManager からリソースをネゴシエートし、NodeManager と連携してタスクを実行およびモニタリングします。 |
利点
EMR の YARN には、次の利点があります：
-
HA クラスターは、YARN を高可用性モードで自動的にデプロイします。
-
運用とメンテナンス (O&M) を簡素化します。
コンソールでは、ノードのスケールアウト、NodeManager のシャットダウン、ローリング再起動が可能です。
-
モニタリングとアラートに対応しています。
さまざまなメトリクスをモニタリングし、インテリジェントなアラートを設定できます。
-
Auto Scaling は、グレースフルシャットダウンに対応しています。
ノードは、実行中のタスクが完了するまで待機してからオフラインになるため、NodeManager の即座のシャットダウンによるタスクの失敗や再実行を防ぎます。