Penskalaan otomatis - E-MapReduce

Fitur penskalaan otomatis memungkinkan penyesuaian jumlah node dalam klaster E-MapReduce (EMR) secara otomatis berdasarkan kebutuhan bisnis dan kebijakan penskalaan Anda. Dengan demikian, kemampuan komputasi klaster EMR disesuaikan secara dinamis. Anda dapat menambahkan aturan penskalaan otomatis terkelola atau kustom untuk grup node. Saat volume data bisnis meningkat, lebih banyak node ditambahkan untuk memastikan kapasitas komputasi. Sebaliknya, saat volume data menurun, sejumlah node dihapus untuk mengurangi biaya.

Perbandingan antara penskalaan otomatis terkelola dan penskalaan otomatis kustom

Item	Penskalaan Otomatis Terkelola	Penskalaan Otomatis Kustom
Aturan Penskalaan Otomatis	Penskalaan otomatis dilakukan pada klaster EMR berdasarkan evaluasi sumber daya yang berkelanjutan di dalam klaster. Tidak diperlukan konfigurasi manual.	Diperlukan konfigurasi aturan penskalaan otomatis kustom, seperti aturan penskalaan berbasis waktu atau beban.
Versi EMR yang Didukung	EMR V3.43.0, EMR V5.9.0, dan versi minor setelah EMR V3.43.0 dan EMR V5.9.0.	EMR V3.42.0, EMR V5.8.0, dan versi minor setelah EMR V3.42.0 dan EMR V5.8.0.
Granularitas Penskalaan	Tingkat klaster dengan pemilihan grup node cerdas.	Tingkat grup node.
Frekuensi Pengumpulan Metrik	5 detik.	30 detik.
Frekuensi Pemantauan	5 hingga 10 detik.	30 detik.
Berdasarkan Metrik Kustom	Tidak.	Ya.

Skenario

Fitur penskalaan otomatis dapat digunakan dalam skenario berikut untuk mengurangi biaya dan meningkatkan efisiensi eksekusi tugas:

Kurva beban komputasi bisnis memiliki puncak dan lembah yang jelas. Dalam hal ini, Anda dapat menambahkan aturan penskalaan otomatis terkelola atau aturan penskalaan berbasis beban.
Node perlu ditambahkan pada waktu tertentu untuk sementara meningkatkan kapasitas komputasi. Dalam hal ini, Anda dapat menambahkan aturan penskalaan berbasis waktu.

Batasan

Jenis klaster	Batasan
Klaster DataLake, Dataflow, pemrosesan analitik online (OLAP), dan klaster kustom	Hanya grup node tugas yang berisi instans preemptible atau instans bayar sesuai pemakaian yang mendukung penskalaan otomatis.
Klaster Hadoop	Hanya grup node tugas yang berisi instans preemptible atau instans bayar sesuai pemakaian yang mendukung penskalaan otomatis. Anda perlu membuat grup penskalaan otomatis. Grup penskalaan otomatis tidak mendukung penskalaan manual. Anda hanya dapat mengaktifkan satu grup penskalaan otomatis. Anda tidak dapat mengaktifkan penskalaan berbasis waktu dan penskalaan berbasis beban untuk grup node pada saat yang sama.

Catatan penggunaan

Jenis klaster	Referensi
Klaster DataLake, Dataflow, OLAP, dan klaster kustom	Tambah aturan penskalaan otomatis terkelola Tambah aturan penskalaan otomatis kustom Lihat aktivitas penskalaan otomatis Lihat dasbor biaya penskalaan otomatis Lihat informasi gambaran umum tentang sumber daya klaster
Klaster Hadoop	Konfigurasikan penskalaan otomatis (hanya untuk klaster Hadoop) Aktifkan atau nonaktifkan penskalaan otomatis (klaster Hadoop) Lihat catatan penskalaan otomatis (klaster Hadoop)