Topik ini menjelaskan topologi penyebaran komponen Hadoop Distributed File System (HDFS) dalam kluster non-high availability (HA) dan kluster HA.
Kluster Non-HA
| Node | Komponen | Deskripsi |
| master-1-1, atau emr-header-1 di beberapa versi | NameNode | NameNode menyediakan layanan baca dan tulis eksternal. |
| Secondary NameNode | Secondary NameNode menggabungkan file EditLog dari NameNode ke file FsImage untuk mempercepat restart NameNode. | |
| core-1-1 atau emr-worker-x | DataNode | DataNode berfungsi sebagai disk data pada node untuk mengelola dan menyimpan blok data HDFS. |
Kluster HA
| Node | Komponen | Deskripsi |
| master-1-1, atau emr-header-1 di beberapa versi | ZKFailoverController (ZKFC) | ZKFC adalah proses independen yang berjalan untuk melakukan pemilihan utama/sekunder dan pergantian berdasarkan status NameNode. |
| NameNode | Dalam sekelompok NameNode, NameNode utama yang berada dalam status Aktif menyediakan layanan baca dan tulis, sedangkan NameNode sekunder lainnya berada dalam status Standby. Hanya NameNode utama yang dapat menyediakan layanan baca dan tulis eksternal. | |
| JournalNode | JournalNode menyimpan file EditLog dari NameNode. Dalam banyak kasus, tiga JournalNode digunakan sebagai satu kelompok. NameNode hanya dapat menyediakan layanan jika dua JournalNode sehat dan data dapat ditulis ke JournalNode. | |
| ZooKeeper | ZooKeeper dalam kluster E-MapReduce (EMR). ZKFC melaksanakan pemilihan berdasarkan kemampuan yang disediakan oleh ZooKeeper. Status HA komponen lain juga bergantung pada ZooKeeper. | |
| master-1-2, atau emr-header-2 di beberapa versi | ZKFC | ZKFC adalah proses independen yang berjalan untuk melakukan pemilihan utama/sekunder dan pergantian berdasarkan status NameNode. |
| NameNode | Dalam sekelompok NameNode, NameNode utama yang berada dalam status Aktif menyediakan layanan baca dan tulis, sedangkan NameNode sekunder lainnya berada dalam status Standby. Hanya NameNode utama yang dapat menyediakan layanan baca dan tulis eksternal. | |
| JournalNode | JournalNode menyimpan file EditLog dari NameNode. Dalam banyak kasus, tiga JournalNode digunakan sebagai satu kelompok. NameNode hanya dapat menyediakan layanan jika dua JournalNode sehat dan data dapat ditulis ke JournalNode. | |
| ZooKeeper | ZooKeeper dalam kluster EMR. ZKFC melaksanakan pemilihan berdasarkan kemampuan yang disediakan oleh ZooKeeper. Status HA komponen lain juga bergantung pada ZooKeeper. | |
| master-1-3, atau emr-header-3 atau emr-worker-1 di beberapa versi | *ZKFC | ZKFC adalah proses independen yang berjalan untuk melakukan pemilihan utama/sekunder dan pergantian berdasarkan status NameNode. null Secara default, tiga kelompok ZKFC dan NameNode ditempatkan untuk kluster HA yang menggunakan Hadoop 3.x di EMR V5.8.0 atau lebih baru. Sebuah kelompok ZKFC dan NameNode ditempatkan di master-1-3. |
| *NameNode | Dalam sekelompok NameNode, NameNode utama yang berada dalam status Aktif menyediakan layanan baca dan tulis, sedangkan NameNode sekunder lainnya berada dalam status Standby. Hanya NameNode utama yang dapat menyediakan layanan baca dan tulis eksternal. null Secara default, tiga kelompok ZKFC dan NameNode ditempatkan untuk kluster HA yang menggunakan Hadoop 3.x di EMR V5.8.0 atau lebih baru. Sebuah kelompok ZKFC dan NameNode ditempatkan di master-1-3. | |
| JournalNode | JournalNode menyimpan file EditLog dari NameNode. Dalam banyak kasus, tiga JournalNode digunakan sebagai satu kelompok. NameNode hanya dapat menyediakan layanan jika dua JournalNode sehat dan data dapat ditulis ke JournalNode. | |
| ZooKeeper | ZooKeeper dalam kluster EMR. ZKFC melaksanakan pemilihan berdasarkan kemampuan yang disediakan oleh ZooKeeper. Status HA komponen lain juga bergantung pada ZooKeeper. | |
| core-1-1 atau emr-worker-x | DataNode | DataNode berfungsi sebagai disk data pada node untuk mengelola dan menyimpan blok data HDFS. |