E-MapReduce Doctor (EMR Doctor) adalah sistem diagnostik cerdas untuk kluster data besar open-source. Gunakan fitur Monitoring and Diagnostics pada halaman Monitoring and Diagnostics untuk memantau kesehatan kluster, melacak tren, serta membimbing keputusan operasional dan optimalisasi resource.
Saat mengelola kluster EMR, Anda biasanya perlu memantau:
-
Stabilitas kluster, termasuk pemantauan status dan penanganan exception untuk layanan utama seperti YARN, HDFS, Hive, dan Spark.
-
Efektivitas kluster, mencakup beban kerja (workload) serta pemanfaatan memori dan CPU.
-
Service level agreements (SLAs) untuk pengguna kluster, guna memastikan tugas kritis memiliki resource yang cukup untuk diselesaikan tepat waktu.
EMR Doctor menyediakan kemampuan berikut:
-
Memberikan pembaruan tepat waktu mengenai status kesehatan kluster dan merekomendasikan aksi untuk layanan utama guna mengurangi biaya operasional serta meningkatkan stabilitas.
-
Memantau penggunaan dan alokasi resource untuk membantu Anda menyesuaikan ukuran perangkat keras dan meningkatkan pemanfaatan.
-
Memberikan saran optimalisasi untuk tuning komponen dan workload agar pipa data tetap efisien dan stabil.
Fitur utama:
-
Menjalankan diagnostik mendalam pada kluster atau node dan menampilkan isu yang terdeteksi beserta rekomendasi perbaikannya. Untuk informasi selengkapnya, lihat Enable Health Check.
-
Menghasilkan laporan kluster dengan skor kuantitatif dan rekomendasi terarah untuk potensi peningkatan. Untuk informasi selengkapnya, lihat View and analyze cluster daily reports.
-
Menerapkan algoritma cerdas pada data kluster, sehingga mengurangi upaya manual berulang dalam pengelolaan platform data besar.