EMR Doctor adalah manajer kluster data besar open source yang menyediakan layanan diagnostik dan optimasi cerdas end-to-end. Layanan ini menjalankan laporan kesehatan harian dan pemindaian real-time untuk mendeteksi masalah sebelum memengaruhi beban kerja Anda. Untuk kluster Hadoop yang menjalankan EMR V3.x versi lebih awal dari V3.41.0, EMR V4.x, atau EMR V5.x versi lebih awal dari V5.6.0, Anda harus mengajukan permintaan aktivasi kepada tim Alibaba Cloud EMR Doctor.
EMR Doctor diaktifkan secara default untuk kluster DataLake, kluster DataServing, dan kluster kustom. Topik ini hanya berlaku untuk versi kluster Hadoop yang tercantum di atas.
Prasyarat
Sebelum memulai, pastikan bahwa:
Kluster Hadoop Anda menjalankan salah satu versi berikut:
EMR V3.x versi lebih awal dari V3.41.0
EMR V4.x (semua versi minor)
EMR V5.x versi lebih awal dari V5.6.0
Anda dapat bergabung ke kelompok DingTalk untuk menghubungi tim EMR Doctor (ID kelompok: 44846846)
Cara kerja EMR Doctor
EMR Doctor mengumpulkan metrik dan event dari tugas komputasi kluster Anda, lalu memberi skor setiap tugas di Backend. Hal ini memberikan dua jenis visibilitas:
Laporan kesehatan harian: Menganalisis mesin komputasi dan penyimpanan, melakukan pemeriksaan kesehatan menyeluruh pada kluster, serta menghasilkan laporan harian mengenai status kesehatan kluster.
Laporan kluster real-time: Secara terus-menerus memindai tugas dan layanan komputasi untuk mengidentifikasi masalah serta memberi notifikasi kepada personel operasi dan maintenance (O&M) guna troubleshooting.
Dampak aktivasi
EMR Doctor tidak memengaruhi tugas yang sudah ada di kluster Anda. Layanan ini hanya mengumpulkan metrik dan event dari tugas, lalu menganalisis dan memberi skor di Backend. Instalasi bersifat transparan terhadap tugas yang sedang berjalan maupun dalam antrian.
Perubahan konfigurasi yang diterapkan selama instalasi
Saat EMR Doctor diinstal, pengaturan berikut secara otomatis ditambahkan ke file konfigurasi layanan kluster Anda:
| Layanan | File konfigurasi | Parameter yang ditambahkan |
|---|---|---|
| Hive | hive-env.sh | Variabel lingkungan |
| YARN | mapred-site.xml | yarn.app.mapreduce.am.command-opts, mapreduce.map.java.opts, mapreduce.reduce.java.opts → -noverify -javaagent:/usr/lib/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=mr |
| YARN | yarn-env.sh | Variabel lingkungan |
| Spark | spark-defaults.conf | spark.driver.extraJavaOptions, spark.executor.extraJavaOptions, spark.yarn.am.extraJavaOptions → -noverify -javaagent:/usr/lib/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=spark |
| Tez | tez-site.xml | tez.task.launch.cmd-opts, tez.am.launch.cmd-opts → -noverify -javaagent:/usr/lib/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=mr,config=tez |
Konfigurasi tertunda
Selama instalasi, EMR dapat mengirimkan konfigurasi layanan yang telah disimpan tetapi belum diterapkan ke kluster Anda. Sebelum aktivasi, periksa apakah terdapat konfigurasi tertunda untuk Hive, Spark, YARN, atau Tez, dan evaluasi dampak penerapannya.
Restart layanan setelah instalasi
Setelah instalasi, restart layanan berikut:
App Timeline Server
HiveServer2
Spark Thrift Server
Jadwalkan restart pada jam sepi atau jendela maintenance. EMR Doctor tetap berfungsi tanpa restart tersebut, tetapi beberapa data mungkin tidak terkumpul untuk pekerjaan tertentu—misalnya, pekerjaan Hive on MapReduce.
Tim Alibaba Cloud EMR Doctor akan memberi tahu Anda saat instalasi selesai dan mengonfirmasi layanan mana saja yang perlu direstart.
Mengajukan aktivasi
Tim Alibaba Cloud EMR Doctor menangani instalasi secara end-to-end demi menjaga stabilitas kluster.
Bergabunglah ke kelompok DingTalk dengan ID 44846846. Insinyur dari tim EMR Doctor akan menghubungi Anda.
Insinyur tersebut akan meninjau status kluster Anda dan menjadwalkan jendela instalasi.
Tim EMR Doctor menginstal EMR Doctor pada waktu yang telah disepakati.
Setelah instalasi, login ke Konsol EMR untuk melihat laporan yang dihasilkan berdasarkan analisis EMR Doctor.
Hubungi kami
Tim Alibaba Cloud EMR menyediakan dukungan instalasi komprehensif untuk membantu Anda mengaktifkan fitur ini. Jika membutuhkan bantuan, gunakan DingTalk untuk mencari nomor kelompok 44846846 dan bergabung ke kelompok DingTalk tersebut. Seorang insinyur akan ditugaskan untuk mendiskusikan rencana spesifik dengan Anda.