Hadoop Distributed File System (HDFS) adalah sistem file terdistribusi untuk Hadoop yang menawarkan toleransi kesalahan sangat tinggi dan mendukung akses data ber-throughput tinggi. HDFS mampu memproses data dalam jumlah sangat besar—pada skala terabyte hingga petabyte—sekaligus meminimalkan biaya. Sistem ini cocok untuk operasi baca dan tulis data berskala besar secara terdistribusi, terutama dalam skenario yang intensif membaca.
Fitur
HDFS dalam kluster E-MapReduce (EMR) menyediakan manfaat berikut:
Toleransi kesalahan dan skalabilitas tingkat tinggi.
Antarmuka perintah shell.
UI web untuk manajemen komponen secara visual.
Pengelolaan izin file ala Linux.
Kesadaran lokasi (locality awareness). HDFS mempertimbangkan lokasi node komputasi saat mengalokasikan storage space.
Rebalancing ketika data tidak merata tersebar di seluruh DataNode.
Restart dan peningkatan secara rolling.
Arsitektur
HDFS menggunakan arsitektur master-slave klasik. Setiap kluster HDFS terdiri dari satu NameNode dan beberapa DataNode.
NameNode mengelola metadata semua file dan berinteraksi dengan klien. DataNode mengelola file yang disimpan di nodenya masing-masing. Setiap file yang diunggah ke HDFS dibagi menjadi satu atau beberapa blok data. Berdasarkan kebijakan replikasi data kluster HDFS, blok-blok tersebut didistribusikan ke berbagai DataNode, dan NameNode mengelola informasi lokasinya secara terpusat.
Konsep dasar
Name | Description |
NameNode | NameNode mengelola namespace sistem file, memelihara struktur direktori dan metadata sistem file, serta mencatat pemetaan antara setiap blok data dan file tempat blok tersebut berada. Informasi ini dipersistensikan ke disk lokal dalam dua bentuk: image sistem file (FsImage) dan log edit (EditsLog). |
DataNode | DataNode adalah komponen inti HDFS yang menyimpan blok data. DataNode menyimpan atau menyediakan blok data berdasarkan instruksi dari NameNode atau client, dan secara berkala melaporkan informasi tentang blok yang disimpannya ke NameNode. |
Client | Client mengakses sistem file dan berkomunikasi dengan NameNode serta DataNode. Client menyediakan antarmuka sistem file yang mirip POSIX. |
Blok | HDFS membagi file menjadi blok data berukuran 128 MB yang dapat disimpan di node berbeda. Pendekatan ini memungkinkan HDFS menyimpan satu file yang ukurannya lebih besar daripada kapasitas disk individual mana pun. Secara default, setiap blok memiliki tiga replika. Jika node inti EMR menggunakan cloud disk, setiap blok hanya memiliki dua replika. HDFS menyimpan replika tersebut di beberapa node. Pendekatan ini meningkatkan keamanan data dan memungkinkan pekerjaan terdistribusi menggunakan data lokal untuk komputasi, sehingga mengurangi transfer jaringan. |
Secondary NameNode | Untuk kluster non-high-availability, proses Secondary NameNode dijalankan secara default. Secondary NameNode mengonsumsi EditsLog, secara berkala menggabungkan FsImage dan EditsLog, serta menghasilkan file FsImage baru untuk mengurangi beban pada NameNode. |
High availability | Untuk kluster high-availability, dua NameNode dijalankan secara default: satu NameNode aktif dan satu NameNode standby. Keduanya mengasumsikan role yang berbeda. NameNode aktif menangani permintaan dari DataNode dan client. NameNode standby memelihara metadata yang sama mutakhirnya dengan NameNode aktif dan siap mengambil alih jika NameNode aktif tidak tersedia. Jika NameNode aktif gagal, NameNode standby mendeteksi kegagalan tersebut, beralih ke role aktif, dan mulai menangani permintaan dari DataNode dan client. |