E-MapReduce (EMR) Doctor adalah sistem O&M cerdas yang dikembangkan oleh tim EMR Alibaba Cloud untuk kluster data besar open source. EMR Doctor menyediakan fitur diagnostik kesehatan dan laporan kluster harian, membantu Anda memahami status kesehatan kluster. Jika kluster mengalami kondisi tidak normal, EMR Doctor memberikan saran untuk O&M dan optimasi sumber daya. Anda dapat menggunakan EMR Doctor pada tab Monitoring and Diagnostics di halaman detail kluster.
Jika Anda adalah insinyur O&M kluster EMR, Anda mungkin perlu mendapatkan informasi berikut:
Stabilitas keseluruhan kluster, dievaluasi berdasarkan faktor-faktor seperti status layanan utama dalam kluster dan penanganan pengecualian untuk layanan tersebut. Layanan utama meliputi YARN, Hadoop Distributed File System (HDFS), Hive, dan Spark.
Efektivitas keseluruhan kluster, termasuk beban kluster serta pemanfaatan memori dan CPU secara efektif.
Tingkat layanan (SLA) yang harus dipertahankan untuk pengguna kluster. Pastikan bahwa sumber daya cukup dialokasikan untuk tugas-tugas utama dan eksekusi tugas selesai sesuai harapan.
EMR Doctor adalah manajer kluster data besar open source dengan kemampuan berikut:
Memantau status kesehatan kluster secara real time dan memberikan saran terkait penggunaan layanan utama. Ini membantu mengurangi biaya O&M kluster serta meningkatkan stabilitasnya secara berkelanjutan.
Menyediakan informasi tentang penggunaan dan alokasi sumber daya kluster serta mengalokasikan sumber daya perangkat keras yang sesuai untuk meningkatkan pemanfaatan sumber daya kluster.
Mengoptimalkan komponen layanan dalam kluster dan tugas yang dijalankan pada kluster, serta memberikan saran optimasi untuk memastikan efektivitas dan stabilitas tautan data dan komputasi.
EMR Doctor menyediakan fitur-fitur berikut:
Diagnostik kesehatan mendalam. Fitur ini menganalisis status kesehatan kluster dan node, membantu mengidentifikasi masalah dan menyelesaikannya berdasarkan saran. Untuk informasi lebih lanjut, lihat Memulai diagnostik kesehatan.
Laporan kluster harian. Fitur ini menghasilkan skor kluster berdasarkan status kesehatannya dan memberikan saran optimasi cerdas. Untuk informasi lebih lanjut, lihat Melihat laporan kluster harian dan hasil analisis dalam laporan.
Integrasi informasi dan diagnostik cerdas. EMR Doctor mengintegrasikan berbagai informasi dalam kluster untuk analisis dan menggunakan algoritma cerdas untuk diagnosis masalah, mengurangi beban kerja data besar yang berat dan berulang pada kluster.