Tambahkan aturan penskalaan otomatis terkelola - E-MapReduce

Fitur penskalaan otomatis terkelola memungkinkan Anda mengonfigurasi jumlah maksimum dan minimum node tugas. Dengan cara ini, E-MapReduce (EMR) dapat secara otomatis menyesuaikan jumlah node tugas berdasarkan beban kerja Anda dan mengoptimalkan alokasi sumber daya berdasarkan riwayat eksekusi pekerjaan. Hal ini memastikan pelaksanaan tugas yang lancar serta mengurangi biaya. Topik ini menjelaskan cara menambahkan aturan penskalaan otomatis terkelola di konsol EMR.

Prasyarat

Sebuah kluster DataLake, kluster Dataflow, kluster pemrosesan analitik daring (OLAP), kluster DataServing, atau kluster kustom telah dibuat. Untuk informasi lebih lanjut, lihat Buat Kluster.
Sebuah grup node tugas yang berisi instance bayar sesuai pemakaian atau instance preemptible telah dibuat di dalam kluster. Untuk informasi lebih lanjut, lihat Buat Grup Node.

Batasan

Untuk mencegah kegagalan penskalaan otomatis karena tidak cukupnya instance Elastic Compute Service (ECS), Anda dapat memilih beberapa jenis instance saat menambahkan grup node. Anda dapat memilih hingga 10 jenis instance ECS. Node dibuat berdasarkan urutan jenis instance dalam daftar. Secara default, jenis instance yang dipilih pertama kali akan digunakan secara prioritas ketika kluster diperluas. Jika suatu jenis instance tidak tersedia, jenis instance berikutnya akan digunakan. Jenis instance sebenarnya yang digunakan untuk membuat node bergantung pada ketersediaan inventaris.
Hanya kluster tempat layanan YARN diterapkan yang mendukung aturan penskalaan otomatis terkelola.
Jika layanan Trino, Presto, StarRocks, Impala, atau ClickHouse diterapkan di dalam kluster, aturan penskalaan otomatis terkelola mungkin menjadi tidak efektif.

Catatan penggunaan

Jika Anda beralih mode penskalaan otomatis, aturan penskalaan otomatis asli mungkin menjadi tidak efektif. Berhati-hatilah saat Anda beralih mode penskalaan otomatis.

Prosedur

Metode 1: Tambahkan aturan penskalaan terkelola untuk kluster yang ada

Setelah fitur penskalaan otomatis terkelola diaktifkan, sistem terus memantau beban cluster YARN dan menghitung beban puncak selama periode lalu untuk secara otomatis menyesuaikan jumlah node tugas.

Pergi ke tab Auto Scaling.
1. Masuk ke konsol EMR. Di panel navigasi di sebelah kiri, klik EMR on ECS.
2. Di bilah navigasi atas, pilih wilayah dan grup sumber daya berdasarkan kebutuhan bisnis Anda.
3. Di halaman EMR on ECS, temukan kluster yang diinginkan dan klik nama kluster di kolom ID/Nama Kluster.
4. Di halaman yang muncul, klik tab Auto Scaling.
Di bagian Configure Auto Scaling Rule dari subtab Configure Auto Scaling, klik Managed Auto Scaling Rule.
Konfigurasikan aturan penskalaan otomatis.
1. Di kotak dialog yang muncul, klik Reconfigure dan konfigurasikan parameter yang relevan.
  - Minimum Number of Task Nodes: jumlah minimum node tugas yang dicadangkan untuk penskalaan otomatis kluster ketika aturan pengecilan skala terkelola dipicu.
  - Maximum Number of Task Nodes: jumlah maksimum node tugas yang dicadangkan untuk penskalaan otomatis kluster ketika aturan perluasan skala terkelola dipicu.
  - Maximum Number of Pay-as-you-go Task Nodes: jumlah maksimum node bayar sesuai pemakaian yang dapat ditambahkan setelah perluasan skala dipicu. Parameter ini digunakan untuk mengonfigurasi proporsi node bayar sesuai pemakaian dan instance preemptible. Nilai default adalah jumlah maksimum node tugas.
    Catatan
    Jika kluster memiliki grup node tugas dari instance preemptible, nilai Maximum Number of Pay-as-you-go Task Nodes bisa kurang dari nilai Maximum Number of Task Nodes. Sebagai contoh, jika Jumlah Minimum Node Tugas disetel ke 0, Jumlah Maksimum Node Tugas disetel ke 20, dan Jumlah Maksimum Node Tugas Bayar Sesuai Pemakaian disetel ke 15, sistem pertama-tama mencoba menambahkan 15 node bayar sesuai pemakaian selama proses perluasan skala. Jika lebih banyak node diperlukan, tambahkan instance preemptible sebagai gantinya.
2. Klik Save and Apply.

Metode 2: Tambahkan aturan penskalaan otomatis terkelola saat Anda membuat kluster

Masuk ke konsol EMR. Di panel navigasi di sebelah kiri, klik EMR on ECS.
Di bilah navigasi atas, pilih wilayah tempat kluster Anda berada dan pilih grup sumber daya berdasarkan kebutuhan bisnis Anda.
Klik Create Cluster. Untuk informasi lebih lanjut tentang parameter, lihat Buat Kluster.
Catatan
Anda harus menambahkan grup node tugas untuk instance bayar sesuai pemakaian atau instance preemptible di dalam kluster sebelum Anda dapat mengonfigurasi aturan penskalaan otomatis terkelola.
Konfigurasikan auto scaling for the cluster.
1. Pilih Managed Auto Scaling Rule.
2. Klik Edit di sebelah Managed Auto Scaling Rule, atur parameter, lalu klik Save and Apply.
  - Minimum Number of Task Nodes: jumlah minimum node tugas yang dicadangkan untuk penskalaan otomatis kluster ketika aturan pengecilan skala terkelola dipicu.
  - Maximum Number of Task Nodes: jumlah maksimum node tugas yang dicadangkan untuk penskalaan otomatis kluster ketika aturan perluasan skala terkelola dipicu.
  - Maximum Number of Pay-as-you-go Task Nodes: jumlah maksimum node bayar sesuai pemakaian yang dapat ditambahkan setelah perluasan skala dipicu. Parameter ini digunakan untuk mengonfigurasi proporsi node bayar sesuai pemakaian dan instance preemptible. Nilai default adalah jumlah maksimum node tugas.
    Catatan
    Jika kluster memiliki grup node tugas dari instance preemptible, nilai Maximum Number of Pay-as-you-go Task Nodes bisa kurang dari nilai Maximum Number of Task Nodes. Sebagai contoh, jika Jumlah Minimum Node Tugas disetel ke 0, Jumlah Maksimum Node Tugas disetel ke 20, dan Jumlah Maksimum Node Tugas Bayar Sesuai Pemakaian disetel ke 15, sistem pertama-tama mencoba menambahkan 15 node bayar sesuai pemakaian selama proses perluasan skala. Jika lebih banyak node diperlukan, tambahkan instance preemptible sebagai gantinya.
Konfirmasi pesanan.