Fitur penskalaan otomatis adalah kemampuan inti yang disediakan oleh platform data besar berbasis cloud E-MapReduce (EMR). Setelah mengonfigurasi aturan penskalaan otomatis, sistem menambah atau menghapus node dalam kluster EMR sesuai kebutuhan bisnis Anda. Hal ini membantu memenuhi fluktuasi beban kerja dan mengurangi biaya. Topik ini menjelaskan cara mengonfigurasi aturan penskalaan otomatis untuk kluster EMR berdasarkan kebutuhan bisnis Anda.
Prasyarat
- Kluster DataLake, Dataflow, pemrosesan analitik online (OLAP), DataServing, atau kluster kustom telah dibuat. Untuk informasi lebih lanjut, lihat Buat Kluster.
- Grup node tugas yang berisi instance bayar sesuai pemakaian atau instance preemptible telah dibuat di dalam kluster. Untuk informasi lebih lanjut, lihat Buat Grup Node.
Langkah 1: Pilih mode pemicu
| Skenario | Mode Pemicu |
| Beban kerja bisnis Anda secara teratur berfluktuasi dari waktu ke waktu atau Anda memerlukan jumlah node tetap dalam periode waktu tertentu. | Gunakan penskalaan berbasis waktu. |
| Beban kerja bisnis Anda berfluktuasi tanpa pola waktu yang signifikan, dan jumlah node yang diperlukan berubah dengan beban kerja bisnis. | Gunakan penskalaan berbasis beban. Ini membantu mendeteksi fluktuasi beban kerja berdasarkan metrik beban kluster yang dikonfigurasi dan meningkatkan efisiensi operasional pekerjaan. |
| Bisnis Anda memenuhi karakteristik baik penskalaan berbasis waktu maupun penskalaan berbasis beban. | Gunakan penskalaan berbasis waktu bersama dengan penskalaan berbasis beban. |
Langkah 2: Konfigurasikan aturan penskalaan otomatis
- Aturan perluasan skala diprioritaskan daripada aturan pengurangan skala.
- Aturan penskalaan berbasis waktu dan aturan penskalaan berbasis beban dieksekusi berdasarkan urutan pemicu.
- Aturan penskalaan berbasis beban dipicu berdasarkan waktu ketika metrik beban kluster dipicu.
- Aturan penskalaan berbasis beban yang dikonfigurasi dengan metrik beban kluster yang sama dipicu berdasarkan urutan konfigurasi aturan.
Penskalaan berbasis waktu
Anda dapat mengonfigurasi aturan perluasan skala berbasis waktu yang dijalankan berulang kali atau hanya sekali berdasarkan titik waktu ketika volume bisnis Anda kemungkinan akan meningkat. Anda juga dapat mengonfigurasi aturan pengurangan skala untuk mengurangi jumlah node selama jam-jam sepi. Jika aturan penskalaan berbasis waktu yang Anda konfigurasi dijalankan berulang kali, Anda dapat mengonfigurasi parameter Rule Expiration Time untuk menentukan waktu kedaluwarsa aturan. Setelah aturan penskalaan berbasis waktu kedaluwarsa, tidak ada aktivitas penskalaan yang dipicu.
Sebagai contoh, beban kerja bisnis Anda meningkat pada pukul 22:00 dan menurun pada pukul 04:00 setiap hari. Dalam kasus ini, Anda dapat mengonfigurasi aturan perluasan skala berbasis waktu yang dijalankan berulang kali pada pukul 22:00 setiap hari dan aturan pengurangan skala berbasis waktu yang dijalankan berulang kali pada pukul 04:00 setiap hari.
Untuk informasi lebih lanjut tentang parameter dan metrik beban kluster, lihat Konfigurasikan Aturan Penskalaan Otomatis Kustom.
Penskalaan berbasis beban
- Pilih metrik beban kluster.Pada subtab Metric Monitoring dari tab Monitoring, pilih YARN-HOME dari daftar drop-down Dashboard. Amati perubahan metrik beban kluster berdasarkan beban kerja bisnis Anda di periode waktu yang berbeda dan pilih metrik yang sesuai.
Nilai metrik harus berbanding terbalik dengan perubahan kapasitas. Setelah aktivitas penskalaan terjadi, nilai metrik berkurang ketika jumlah instance berubah.
Sebagai contoh, Anda mengonfigurasi aturan perluasan skala berbasis beban, dan aturan tersebut dipicu ketika nilai rata-rata metrik yarn_resourcemanager_queue_AppsPending lebih besar dari atau sama dengan 1 dalam 60 detik. Jika kondisi di atas terpenuhi, satu node ditambahkan. Setelah aktivitas perluasan skala dipicu, jumlah tugas yang tertunda dapat dikurangi.
Gunakan metrik beban kluster yang tercantum dalam tabel berikut.Metrik beban kluster EMR Layanan Deskripsi yarn_resourcemanager_queue_AvailableMBPercentage YARN Persentase memori yang tersedia terhadap total memori dalam antrian root. yarn_resourcemanager_queue_AvailableVCores YARN Jumlah vCPU yang tersedia dalam antrian root. yarn_resourcemanager_queue_AvailableMB YARN Jumlah memori yang tersedia dalam antrian root. Unit: MB. yarn_resourcemanager_queue_AppsPending YARN Jumlah tugas yang tertunda dalam antrian root. yarn_resourcemanager_queue_PendingContainers YARN Jumlah kontainer yang akan dialokasikan dalam antrian root. yarn_resourcemanager_queue_AvailableVCoresPercentage YARN Persentase vCPU yang tersedia dalam antrian root. - Konfigurasikan aturan penskalaan berbasis beban.
- Pertama kali Anda mengonfigurasi aturan penskalaan berbasis beban, Anda dapat memilih metrik terkait pending untuk aturan perluasan skala dan metrik terkait tersedia untuk aturan pengurangan skala.
- Anda dapat mengonfigurasi beberapa kondisi pemicu berbasis metrik beban untuk aturan penskalaan berbasis beban dan menentukan operator logika AND atau OR di antara kondisi-kondisi tersebut. Ini memungkinkan Anda mengelola kondisi pemicu berbasis metrik secara lebih rinci.
- Untuk mencegah pemborosan sumber daya yang disebabkan oleh aktivitas penskalaan yang sering, tentukan waktu cooldown untuk aturan penskalaan berbasis beban. Selama waktu cooldown, aturan penskalaan berbasis beban tidak dipicu meskipun kondisi terpenuhi.
Rata-rata periode waktu untuk menambahkan node adalah 1,55 menit, dan rata-rata periode waktu untuk menambahkan 100 node hanya 1,83 menit. Anda dapat mengatur waktu cooldown untuk aturan perluasan skala ke nilai yang berkisar antara 100 hingga 300 (Unit: detik). Dengan cara ini, setelah node baru digunakan, Anda dapat memeriksa apakah nilai metrik beban kluster yang dikonfigurasi berkurang dan menentukan apakah aktivitas perluasan skala lainnya diperlukan. Ini membantu mencegah pemborosan sumber daya.
- Untuk merespons perubahan metrik beban kluster lebih cepat, atur parameter Periode Statistik menjadi 1 menit. Jika nilai parameter terlalu besar, aktivitas penskalaan mungkin dipicu oleh data yang sudah kedaluwarsa. Ini mengakibatkan pemborosan sumber daya yang tidak perlu.
- Tentukan jumlah node yang ingin Anda tambahkan atau hapus berdasarkan kemampuan node yang ada untuk memproses pekerjaan dan pertumbuhan bisnis yang diharapkan. Anda juga dapat memperkirakan jumlah node yang diperlukan untuk mengurangi nilai metrik beban kluster terkait.
- Tentukan periode waktu efektif di mana aturan penskalaan berbasis beban berlaku dalam satu hari. Anda dapat mengonfigurasi aturan penskalaan berbasis beban yang berbeda di periode waktu yang berbeda.
- Tentukan jumlah maksimum dan minimum node dalam grup node.
Parameter Limits on Node Quantity of Current Node Group menentukan batas jumlah node dalam grup node saat ini. Parameter Maximum Number of Instances menentukan batas atas jumlah node dalam grup node saat ini. Ini mencegah grup node Anda dari penskalaan keluar yang tak terbatas. Parameter Minimum Number of Instances menentukan batas bawah jumlah node yang diperlukan untuk memproses bisnis Anda. Jika instance Anda dilepaskan karena faktor tak terduga, sistem menambah instance untuk memenuhi jumlah instance minimum.
- Ubah aturan penskalaan berbasis beban.
Setelah mengonfigurasi aturan penskalaan berbasis beban, Anda dapat mengubah parameter aturan berdasarkan metrik dan catatan aktivitas penskalaan dalam periode waktu tertentu.
- Jika aktivitas penskalaan sering dipicu dan instance yang ditambahkan masuk ke status idle dan sering dihapus, gunakan operator logika AND dalam aturan untuk menambahkan kondisi pemicu berbasis metrik beban guna mengurangi frekuensi aktivitas penskalaan. Anda juga dapat meningkatkan nilai parameter Cooldown Time.
- Jika pekerjaan Anda memerlukan beberapa aktivitas perluasan skala atau kecepatan perluasan skala tidak memenuhi persyaratan Anda untuk memproses pekerjaan, tingkatkan jumlah instance yang ditambahkan untuk setiap aktivitas perluasan skala.