Dasbor YARN EMR memungkinkan Anda memantau pemanfaatan resource kluster dan mengevaluasi efektivitas Penyesuaian Skala Otomatis. Gunakan dasbor ini untuk mengidentifikasi kapasitas berlebih, meninjau tren pemanfaatan selama 30 hari terakhir, serta menyesuaikan aturan Penyesuaian Skala Otomatis berdasarkan metrik YARN historis.
Prasyarat
Sebelum memulai, pastikan Anda telah:
-
Sebuah kluster DataLake atau kluster khusus dengan layanan YARN yang diaktifkan. Untuk petunjuk pengaturannya, lihat Buat kluster.
Metode secara ringkas
| Tujuan | Metode |
|---|---|
| Bandingkan tren pemanfaatan dan dapatkan rekomendasi aturan penskalaan | Lihat tren pemanfaatan resource YARN |
| Periksa data metrik YARN dan evaluasi efek Penyesuaian Skala Otomatis | Lihat data metrik YARN |
Lihat tren pemanfaatan resource YARN
Gunakan metode ini untuk membandingkan pemanfaatan resource dari waktu ke waktu dan memeriksa apakah kluster Anda memiliki kapasitas berlebih. Konsol akan menampilkan rekomendasi aturan penskalaan berdasarkan data tren tersebut.
-
Login ke Konsol EMR. Di panel navigasi sebelah kiri, klik EMR on ECS.
-
Di bilah navigasi atas, pilih wilayah tempat kluster Anda berada dan pilih kelompok sumber daya.
-
Pada halaman EMR on ECS, klik nama kluster di kolom Cluster ID/Name.
-
Klik tab Auto Scaling, lalu buka subtab Configure Auto Scaling.
-
Tinjau garis tren pemanfaatan resource, yang menampilkan perubahan selama 30 hari terakhir. Untuk memeriksa adanya pemborosan resource, bandingkan dengan tren dari N hari sebelumnya, di mana N adalah bilangan bulat kurang dari 30. Konsol menampilkan rekomendasi aturan Penyesuaian Skala Otomatis berdasarkan analisis ini. Konfigurasikan penskalaan untuk kelompok node kluster sesuai dengan aturan yang direkomendasikan.
Lihat data metrik YARN
Gunakan metode ini untuk memeriksa metrik YARN mentah, mengamati pemanfaatan kontainer dan node, serta mengevaluasi dampak Penyesuaian Skala Otomatis pada kluster Anda.
-
Login ke Konsol EMR. Di panel navigasi sebelah kiri, klik EMR on ECS.
-
Di bilah navigasi atas, pilih wilayah tempat kluster Anda berada dan pilih kelompok sumber daya.
-
Pada halaman EMR on ECS, klik nama kluster di kolom Cluster ID/Name.
-
Klik tab Monitoring and Diagnostics, lalu klik subtab Metric Monitoring.
-
Pada daftar drop-down Dashboard, pilih YARN-HOME. Dasbor ini menampilkan data metrik YARN untuk kluster tersebut.
-
Anda dapat memilih rentang waktu untuk melihat pemanfaatan resource selama periode tertentu.
-
Temukan metrik Yarn Scaling di dasbor. Yarn Scaling adalah metrik yang digunakan untuk menampilkan Penyesuaian Skala Otomatis YARN. Metrik ini menunjukkan pemanfaatan resource kontainer dan node yang berjalan di kluster Anda, membantu Anda memahami efek Penyesuaian Skala Otomatis serta mengevaluasi kinerjanya secara akurat.