E-MapReduce:ESS (Hanya tersedia untuk pengguna yang sudah ada)

Mekanisme shuffle tradisional menghadirkan beberapa tantangan:

• Pada skenario dengan volume data besar, operasi shuffle write dapat menyebabkan spill ke disk, yang mengakibatkan amplifikasi tulis.

• Operasi shuffle read menghasilkan volume tinggi paket jaringan kecil, yang dapat menyebabkan error koneksi terputus.

• Operasi shuffle read melibatkan banyak permintaan I/O kecil dan pembacaan acak, sehingga memberikan beban berat pada disk dan CPU.

• Ketika jumlah mapper (M) dan reducer (N) mencapai ribuan, jumlah total koneksi jaringan (M × N) dapat mencegah pekerjaan selesai.

• NodeManager dan Spark Shuffle Service berjalan dalam proses yang sama. Ketika volume data shuffle sangat besar, NodeManager dapat restart, yang berdampak pada stabilitas penjadwalan YARN.

ESS memberikan keunggulan berikut:

• Menggunakan mekanisme shuffle bergaya dorong (push-style) alih-alih bergaya tarik (pull-style), sehingga mengurangi tekanan memori pada mapper.

• Mendukung agregasi I/O, yang mengurangi jumlah koneksi shuffle read dari M × N menjadi N serta menggantikan pembacaan acak dengan pembacaan sekuensial.

• Mendukung mekanisme dua replika untuk mengurangi kemungkinan kegagalan fetch.

• Mendukung arsitektur pemisahan komputasi dan penyimpanan, memungkinkan Anda men-deploy Shuffle Service di lingkungan perangkat keras terpisah yang tidak terikat dengan kluster komputasi.

• Menghilangkan ketergantungan pada disk lokal saat menjalankan Spark di Kubernetes.

Gambar berikut menunjukkan arsitektur ESS.