YARN adalah sistem manajemen sumber daya terdistribusi dan komponen inti Hadoop yang mengelola sumber daya kluster, menjadwalkan pekerjaan, serta memantau task.
Terms
|
Name |
Description |
|
ResourceManager |
Mengelola dan menjadwalkan resource kluster serta mengalokasikan resource ke pekerjaan yang berjalan di YARN. Pada kluster non-HA, ResourceManager dideploy pada node master EMR. Pada kluster HA, ResourceManager dideploy pada multiple node master untuk high availability. |
|
NodeManager |
Mengelola resource, memantau status, dan menjalankan pekerjaan pada masing-masing node. Dideploy pada core atau task node kluster EMR. |
|
MapReduce History Server (MRHistoryServer) |
Mengurai metrik pekerjaan MapReduce dan menampilkan status eksekusi pekerjaan. Juga secara berkala menghapus log agregasi yang telah kedaluwarsa. |
|
TimelineServer |
Mengumpulkan metrik pekerjaan dan menampilkan status eksekusi pekerjaan. Catatan
TimelineServer hanya memantau penggunaan resource dari masing-masing pekerjaan. TimelineServer tidak memengaruhi pengembangan, eksekusi, atau pengiriman pekerjaan data. |
|
WebAppProxyServer |
Mengarahkan ulang tautan pekerjaan untuk mengurangi serangan berbasis web. |
|
ApplicationMaster |
Mengelola siklus hidup sebuah aplikasi. ApplicationMaster melakukan negosiasi resource dari ResourceManager dan bekerja sama dengan NodeManager untuk mengeksekusi serta memantau task. |
Benefits
YARN dalam EMR menyediakan manfaat berikut:
-
Kluster HA secara otomatis menerapkan YARN dalam mode high availability.
-
Operasi dan pemeliharaan (O&M) yang disederhanakan.
Konsol mendukung scale-out node, shutdown NodeManager, dan rolling restart.
-
Dukungan pemantauan dan alert.
Pantau berbagai metrik dan konfigurasikan alert cerdas.
-
Auto Scaling mendukung shutdown yang mulus.
Node menunggu task yang sedang berjalan selesai sebelum offline, sehingga mencegah shutdown NodeManager secara langsung yang dapat menyebabkan kegagalan task dan eksekusi ulang.