E-MapReduce：ESS (hanya tersedia untuk pengguna yang sudah ada)

Solusi shuffle saat ini memiliki kekurangan berikut:

• Terjadi overflow data jika ada sejumlah besar data dalam tugas penulisan shuffle, menyebabkan amplifikasi tulis.

• Sejumlah besar paket jaringan berukuran kecil dalam tugas pembacaan shuffle dapat menyebabkan reset koneksi.

• Sejumlah besar permintaan I/O berukuran kecil dan pembacaan acak dalam tugas pembacaan shuffle menyebabkan beban disk dan CPU yang tinggi.

• Jika ribuan mapper (M) dan reducer (N) digunakan, sejumlah besar koneksi dihasilkan, membuat pekerjaan sulit dijalankan. Jumlah koneksi dihitung menggunakan rumus berikut: M × N.

• Layanan shuffle Spark berjalan pada NodeManager. Jika jumlah data yang terlibat dalam pengacakan sangat besar, NodeManager akan di-restart, memengaruhi stabilitas penjadwalan tugas berbasis YARN.

Layanan ESS berbasis shuffle yang disediakan oleh EMR dapat mengoptimalkan solusi shuffle. ESS memiliki keunggulan berikut:

• Mengurangi tekanan memori yang disebabkan oleh mapper dengan menggunakan shuffle gaya push alih-alih shuffle gaya pull.

• Mendukung agregasi I/O, mengurangi jumlah koneksi dalam tugas pembacaan shuffle dari M × N menjadi N, serta mengubah pembacaan acak menjadi pembacaan berurutan.

• Menggunakan mekanisme dua replika untuk mengurangi kemungkinan kegagalan fetch.

• Mendukung pemisahan komputasi-penyimpanan. Layanan shuffle dapat diterapkan di lingkungan perangkat keras yang terpisah.

• Menghilangkan ketergantungan pada disk lokal saat menggunakan Spark on Kubernetes.

Gambar berikut menunjukkan arsitektur ESS.