E-MapReduce:Buat kebijakan auto scaling kustom

Metode 1: Konfigurasikan aturan untuk kluster yang sudah ada

1. Buka halaman Auto Scaling.

   1. Masuk ke konsol EMR on ECS.

   2. Di bilah navigasi atas, pilih wilayah dan resource group sesuai kebutuhan Anda.

   3. Klik nama kluster target.

   4. Pada halaman yang muncul, klik tab Auto Scaling.

2. Konfigurasikan aturan penskalaan.

   1. Pada tab Configure Auto Scaling, di bagian Configure Auto Scaling Rule, klik Custom Auto Scaling Rule, pilih Reconfigure, lalu klik Edit di kolom Actions untuk kelompok node target.

   2. Pada panel Configure Auto Scaling, konfigurasikan parameter-parameter berikut.

      • Limits on Node Quantity of Current Node Group: Mengontrol jumlah node dalam kelompok untuk mencegah jumlah node menjadi terlalu besar atau terlalu kecil selama Auto Scaling. Untuk mengubah konfigurasi ini, klik Modify Limit.

        • Maximum Number of Instances: Jumlah maksimum node dalam kelompok node saat ini. Saat batas ini tercapai, kelompok node berhenti melakukan skala keluar.

        • Minimum Number of Instances: Jumlah minimum node dalam kelompok node saat ini. Saat batas ini tercapai, kelompok node berhenti melakukan skala-masuk.

      • Trigger Rule: Menampilkan dan memungkinkan Anda mengonfigurasi aturan penskalaan untuk kelompok node saat ini.

        • Penskalaan berbasis waktu

          Jika beban komputasi kluster Anda memiliki puncak dan lembah yang dapat diprediksi, Anda dapat menetapkan waktu tetap setiap hari, mingguan, atau bulanan untuk melakukan skala keluar sejumlah tertentu node tugas. Hal ini menambah sumber daya komputasi saat diperlukan, membantu memastikan penyelesaian job sekaligus menghemat biaya. Aturan penskalaan dibagi menjadi aturan skala keluar dan aturan skala-masuk.

          Penting

          Untuk mencegah konflik dan memastikan skalabilitas mulus, jangan menetapkan waktu eksekusi aturan skala keluar dan skala-masuk agar identik.

          Bagian ini menggunakan contoh aturan skala keluar.

          Parameter	Deskripsi
          Scale-out type	Skala keluar berdasarkan waktu.
          Rule Name	Nama aturan penskalaan harus unik dalam satu kluster.
          Frequency	Execute Repeatedly: Aksi penskalaan dijalankan pada waktu tertentu setiap hari, mingguan, atau bulanan. Execute Only Once: Aksi penskalaan dijalankan sekali pada waktu yang ditentukan.
          Execution Time	Waktu eksekusi aturan.
          Rule Expiration Time	Jika Anda menetapkan Frequency ke Execute Repeatedly, Anda dapat menetapkan waktu kedaluwarsa untuk aturan tersebut. Aturan berhenti memicu aktivitas penskalaan setelah waktu ini.
          Retry Time Range	Aksi penskalaan mungkin tidak berjalan tepat pada waktunya karena berbagai alasan. Jika Anda menetapkan rentang waktu percobaan ulang, sistem akan mencoba kembali aksi tersebut setiap 30 detik dalam rentang ini hingga berhasil. Nilainya dapat berkisar antara 0 hingga 3.600 detik. Sebagai contoh, jika aksi A dijadwalkan tetapi tidak dapat dijalankan karena aksi B sedang berlangsung atau dalam periode cooldown, sistem akan mencoba kembali aksi A setiap 30 detik selama rentang waktu percobaan ulang yang ditentukan. Aksi tersebut akan dijalankan segera setelah kondisi memungkinkan.
          Nodes for each scale-out	Jumlah node yang ditambahkan saat aturan dipicu.
          Best-effort Delivery	Kami merekomendasikan Anda mengaktifkan fitur ini. Setelah Anda mengaktifkan best-effort delivery, sistem akan memberikan jumlah maksimum node yang memungkinkan untuk memastikan operasi bisnis berjalan lancar. Sebagai contoh, Anda mengonfigurasi sistem untuk melakukan skala keluar sebanyak 100 node setiap hari pukul 00:00. Jika hanya tersedia stok 90 node, proses biasanya akan gagal. Dengan fitur ini diaktifkan, 90 node yang tersedia akan disediakan.

        • Penskalaan berbasis beban

          Catatan

          Fitur ini hanya didukung ketika layanan YARN diterapkan dalam kluster.

          Jika Anda tidak dapat memprediksi secara akurat puncak dan lembah beban komputasi data besar Anda tetapi memahami model bisnis Anda dengan baik, Anda dapat menggunakan penskalaan berbasis beban. Aturan penskalaan dibagi menjadi aturan skala keluar dan skala-masuk. Bagian ini menggunakan contoh aturan skala keluar.

          Parameter	Deskripsi
          Scale-out type	Skala keluar berdasarkan beban.
          Rule Name	Nama aturan penskalaan harus unik dalam satu kluster.
          Load Metric-based Trigger Conditions	Kondisi yang memicu aturan penskalaan berbasis beban. Anda perlu memilih satu atau beberapa metrik beban yang telah ditentukan sistem. Untuk memilih beberapa metrik, klik Add Metric. Parameter berikut termasuk: Load metric: Nama metrik beban yang didukung sistem. Untuk informasi selengkapnya tentang pemetaan antara metrik auto scaling E-MapReduce dan metrik layanan YARN, lihat Mapping between E-MapReduce auto scaling metrics and YARN service metrics. Catatan Metrik beban yang didukung bervariasi tergantung jenis kluster. Metrik aktual yang ditampilkan di konsol berlaku. Aggregation method: Metode (rata-rata, maksimum, atau minimum) yang digunakan untuk mengevaluasi metrik beban terhadap ambang batas selama periode statistik. Aturan dipicu jika nilai agregasi memenuhi ambang batas.
          Multi-metric Relationship	Anda dapat memilih All Metrics Meet the Conditions atau Any Metric Meets the Condition.
          Statistical Period	Jendela waktu untuk pengumpulan dan agregasi metrik. Periode yang lebih pendek membuat aturan lebih sensitif terhadap perubahan beban. Pilih periode statistik yang masuk akal berdasarkan kebutuhan bisnis Anda.
          Condition Repetition Threshold	Jumlah periode statistik berturut-turut di mana metrik harus melebihi ambang batas sebelum aturan dipicu. Ini mencegah penskalaan akibat lonjakan singkat.
          Nodes for each scale-out	Jumlah node yang ditambahkan saat aturan dipicu.
          Best-effort Delivery	Jika Anda mengaktifkan fitur ini, sistem akan memberikan jumlah maksimum node yang memungkinkan. Evaluasi apakah perlu mengaktifkan fitur ini untuk penskalaan berbasis beban. Berbeda dengan penskalaan berbasis waktu di mana kapasitas yang dibutuhkan diketahui, penskalaan berbasis beban bereaksi terhadap metrik, dan pemenuhan sebagian mungkin tidak diinginkan.
          Cooldown Time	Interval antara awal aktivitas auto scaling dan waktu dimulainya aktivitas berikutnya. Selama periode ini, semua pemicu penskalaan diabaikan. Setelah cooldown berakhir, sistem hanya akan merespons pemicu baru yang memenuhi kondisi penskalaan. Periode cooldown ini memungkinkan beban sistem stabil setelah kejadian penskalaan sebelum kejadian lain dimulai.
          Effective Time Period	Parameter opsional yang menentukan rentang waktu di mana aturan penskalaan berbasis beban aktif. Secara default, aturan aktif 24/7. Jika Anda menetapkan rentang waktu, aktivitas penskalaan hanya dipicu dalam rentang tersebut.

   3. Setelah menyelesaikan konfigurasi, klik Save and Apply.

      Saat kondisi terpenuhi, aktivitas Auto Scaling dipicu untuk kelompok node tersebut.

Metode 2: Konfigurasikan aturan saat pembuatan kluster

1. Masuk ke konsol EMR on ECS.

2. Di bilah navigasi atas, pilih wilayah dan resource group sesuai kebutuhan Anda.

3. Klik CREATE_CLUSTER. Untuk informasi selengkapnya tentang parameter, lihat Buat kluster.

   Catatan

   Anda harus menambahkan kelompok node tugas pay-as-you-go ke kluster sebelum dapat mengonfigurasi aturan yang sesuai.

4. Konfigurasikan Cluster Scaling.

   1. Pilih Custom Auto Scaling Rule dan klik Edit di kolom Actions kelompok node target.

   2. Pada panel Configure Auto Scaling, konfigurasikan parameter. Untuk informasi selengkapnya, lihat Configure scaling rules.

   3. Setelah menyelesaikan konfigurasi, klik Save and Apply.

5. Konfirmasi pesanan dan buat kluster.

   Setelah kluster dibuat, aktivitas penskalaan dipicu untuk kelompok node saat kondisi aturan terpenuhi.

Metode 3: Konfigurasikan aturan dengan SDK

Saat membuat kluster atau kelompok node, Anda dapat mengonfigurasi aturan penskalaan kustom untuk kelompok node guna mengotomatiskan pembuatan dan manajemen node. Untuk informasi selengkapnya, lihat Buat kluster dan Buat kelompok node. Anda juga dapat mengonfigurasi aturan penskalaan kustom untuk kelompok node yang sudah ada. Untuk informasi selengkapnya, lihat Buat kebijakan auto scaling kustom.

Kode Java berikut memberikan contoh konfigurasi aturan skala keluar berbasis beban.

// File ini dibuat secara otomatis, jangan mengeditnya. Terima kasih.
package com.aliyun.sample;

import com.aliyun.tea.*;

public class Sample {

    /**
     * deskripsi :
     * <p>Gunakan pasangan AccessKey untuk menginisialisasi client.</p>
     * @return Client
     * 
     * @throws Exception
     */
    public static com.aliyun.emr20210320.Client createClient() throws Exception {
        // Kebocoran kode sumber dapat menyebabkan kebocoran pasangan AccessKey, yang menimbulkan ancaman terhadap keamanan semua resource Anda. Kode berikut hanya untuk referensi.
        // Kami merekomendasikan Anda menggunakan metode STS yang lebih aman untuk autentikasi.
        com.aliyun.teaopenapi.models.Config config = new com.aliyun.teaopenapi.models.Config()
                // Wajib. Pastikan variabel lingkungan ALIBABA_CLOUD_ACCESS_KEY_ID telah diatur.
                .setAccessKeyId(System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID"))
                // Wajib. Pastikan variabel lingkungan ALIBABA_CLOUD_ACCESS_KEY_SECRET telah diatur.
                .setAccessKeySecret(System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET"));
        // Untuk endpoint, lihat https://api.alibabacloud.com/product/Emr.
        config.endpoint = "emr.eu-central-1.aliyuncs.com";
        return new com.aliyun.emr20210320.Client(config);
    }

    public static void main(String[] args_) throws Exception {
        java.util.List<String> args = java.util.Arrays.asList(args_);
        com.aliyun.emr20210320.Client client = Sample.createClient();
        com.aliyun.emr20210320.models.ScalingConstraints scalingConstraints = new com.aliyun.emr20210320.models.ScalingConstraints()
                .setMaxCapacity(10)
                .setMinCapacity(0);
        com.aliyun.emr20210320.models.TriggerCondition scalingRule0MetricsTriggerTriggerCondition0 = new com.aliyun.emr20210320.models.TriggerCondition()
                .setMetricName("yarn_resourcemanager_queue_AvailableVCoresPercentage")
                .setStatistics("AVG")
                .setComparisonOperator("LE")
                .setThreshold(15D);
        com.aliyun.emr20210320.models.TriggerCondition scalingRule0MetricsTriggerTriggerCondition1 = new com.aliyun.emr20210320.models.TriggerCondition()
                .setMetricName("yarn_resourcemanager_queue_AvailableMBPercentage")
                .setStatistics("AVG")
                .setComparisonOperator("LE")
                .setThreshold(15D);
        com.aliyun.emr20210320.models.MetricsTrigger scalingRule0MetricsTrigger = new com.aliyun.emr20210320.models.MetricsTrigger()
                .setTimeWindow(300)
                .setEvaluationCount(1)
                .setCoolDownInterval(300)
                .setConditionLogicOperator("Or")
                .setConditions(java.util.Arrays.asList(
                    scalingRule0MetricsTriggerTriggerCondition0,
                    scalingRule0MetricsTriggerTriggerCondition1
                ));
        com.aliyun.emr20210320.models.ScalingRule scalingRule0 = new com.aliyun.emr20210320.models.ScalingRule()
                .setRuleName("default")
                .setTriggerType("METRICS_TRIGGER")
                .setActivityType("SCALE_OUT")
                .setAdjustmentValue(1)
                .setMetricsTrigger(scalingRule0MetricsTrigger);
        com.aliyun.emr20210320.models.PutAutoScalingPolicyRequest putAutoScalingPolicyRequest = new com.aliyun.emr20210320.models.PutAutoScalingPolicyRequest()
                .setRegionId("cn-hangzhou")
                .setClusterId("c-xxxx")
                .setNodeGroupId("ng-xxx")
                .setScalingRules(java.util.Arrays.asList(
                    scalingRule0
                ))
                .setConstraints(scalingConstraints);
        com.aliyun.teautil.models.RuntimeOptions runtime = new com.aliyun.teautil.models.RuntimeOptions();
        try {
            // Cetak nilai kembali API sendiri.
            client.putAutoScalingPolicyWithOptions(putAutoScalingPolicyRequest, runtime);
        } catch (TeaException error) {
            // Kode berikut hanya untuk tujuan demonstrasi. Kami merekomendasikan Anda menangani exception dengan hati-hati dan tidak mengabaikannya dalam proyek Anda.
            // Pesan error
            System.out.println(error.getMessage());
            // Alamat diagnosis
            System.out.println(error.getData().get("Recommend"));
            com.aliyun.teautil.Common.assertAsString(error.message);
        } catch (Exception exception) {
            TeaException error = new TeaException(exception.getMessage(), exception);
            // Kode berikut hanya untuk tujuan demonstrasi. Kami merekomendasikan Anda menangani exception dengan hati-hati dan tidak mengabaikannya dalam proyek Anda.
            // Pesan error
            System.out.println(error.getMessage());
            // Alamat diagnosis
            System.out.println(error.getData().get("Recommend"));
            com.aliyun.teautil.Common.assertAsString(error.message);
        }        
    }
}