YARN adalah sistem manajemen sumber daya terdistribusi dan merupakan komponen inti dari sistem Hadoop. YARN mengelola sumber daya dalam kluster Hadoop, serta menjadwalkan dan memantau pekerjaan di dalam kluster.
Komponen
Komponen | Deskripsi |
ResourceManager | Mengelola dan menjadwalkan sumber daya kluster serta mengalokasikan sumber daya untuk berbagai jenis pekerjaan yang berjalan di YARN. Untuk kluster Hadoop non-high availability (HA), ResourceManager ditempatkan pada Node master kluster. Untuk kluster Hadoop HA, ResourceManagers ditempatkan pada beberapa Node master kluster. |
NodeManager | Mengelola dan memantau sumber daya node serta menjalankan pekerjaan pada node. NodeManagers ditempatkan pada node inti atau node tugas dari kluster Hadoop. |
MapReduce History Server (MRHistoryServer) | Mengurai data deret waktu pekerjaan MapReduce, menampilkan status pekerjaan, dan secara berkala menghapus log agregasi yang kedaluwarsa. |
TimelineServer | Mengumpulkan data deret waktu pekerjaan dan menampilkan status pekerjaan. null Komponen ini hanya digunakan untuk memantau penggunaan sumber daya dari satu pekerjaan. Ini tidak menyebabkan kegagalan dalam pengembangan, pelaksanaan, dan pengiriman pekerjaan data. |
WebAppProxyServer | Bertanggung jawab atas pengalihan ke URL pekerjaan. Ini mengurangi kemungkinan serangan berbasis web. |
ApplicationMaster | Menangani transaksi terkait aplikasi. Sebagai contoh, ApplicationMaster menjadwalkan sumber daya yang diperoleh dari ResourceManager dan berkomunikasi dengan NodeManagers untuk memantau dan mengelola sumber daya. |
Manfaat
YARN dalam kluster Hadoop menawarkan manfaat berikut:
Secara default, YARN diterapkan dalam mode HA di kluster Hadoop HA.
Operasi dan pemeliharaan (O&M) sangat mudah.
Anda dapat menambahkan NodeManagers, mendekomisikan NodeManagers, dan melakukan restart bergulir pada NodeManagers melalui konsol E-MapReduce (EMR).
Pemantauan dan peringatan didukung.
YARN dapat memantau berbagai data deret waktu dan melaporkan peringatan berdasarkan aturan yang telah ditentukan.
Dekomisi halus NodeManagers didukung.
Jika dekomisi halus diaktifkan, YARN tidak akan mendekomisikan NodeManager dalam periode waktu tertentu hingga semua tugas yang sedang berjalan di node tersebut selesai.