YARN adalah sistem manajemen sumber daya terdistribusi dan komponen inti Hadoop yang mengelola sumber daya kluster, menjadwalkan pekerjaan, serta memantau task.
Istilah
|
Name |
Description |
|
ResourceManager |
Mengelola dan menjadwalkan resource kluster serta mengalokasikan resource ke pekerjaan yang berjalan di YARN. Pada kluster non-HA, ResourceManager dideploy di node master EMR. Pada kluster HA, ResourceManager dideploy di beberapa node master untuk high availability. |
|
NodeManager |
Mengelola resource, memantau status, dan menjalankan pekerjaan pada masing-masing node. Dideploy pada node core atau node task kluster EMR. |
|
MapReduce History Server (MRHistoryServer) |
Mengurai metrik pekerjaan MapReduce dan menampilkan status eksekusi pekerjaan. Juga secara berkala menghapus log agregasi yang telah kedaluwarsa. |
|
TimelineServer |
Mengumpulkan metrik pekerjaan dan menampilkan status eksekusi pekerjaan. Catatan
TimelineServer hanya memantau penggunaan resource dari masing-masing pekerjaan. TimelineServer tidak memengaruhi pengembangan, eksekusi, atau pengiriman pekerjaan data. |
|
WebAppProxyServer |
Mengalihkan tautan pekerjaan untuk mengurangi serangan berbasis web. |
|
ApplicationMaster |
Mengelola siklus hidup sebuah aplikasi. ApplicationMaster melakukan negosiasi resource dari ResourceManager dan bekerja sama dengan NodeManager untuk mengeksekusi serta memantau task. |
Manfaat
YARN dalam EMR memberikan manfaat berikut:
-
Kluster HA secara otomatis menerapkan YARN dalam mode high availability.
-
Operasi dan maintenance (O&M) yang disederhanakan.
Konsol mendukung scale-out node, shutdown NodeManager, dan rolling restart.
-
Mendukung pemantauan dan peringatan.
Pantau berbagai metrik dan konfigurasikan peringatan cerdas.
-
Auto Scaling mendukung graceful shutdown.
Node menunggu task yang sedang berjalan hingga selesai sebelum offline, sehingga mencegah shutdown NodeManager secara langsung yang dapat menyebabkan kegagalan task dan pengulangan eksekusi.