E-MapReduce:Create a custom auto scaling policy

Método 1: Configurar reglas para un clúster existente

1. Vaya a la página Auto Scaling.

   1. Inicie sesión en la consola EMR on ECS.

   2. En la barra de navegación superior, seleccione una región y un resource group según sus necesidades.

   3. Haga clic en el nombre del clúster de destino.

   4. En la página que aparece, haga clic en la pestaña Auto Scaling.

2. Configure las reglas de escalado.

   1. En la pestaña Configure Auto Scaling, haga clic en Configure Auto Scaling RuleCustom Auto Scaling Rule, seleccione Reconfigure y luego haga clic en Edit en la columna Actions del grupo de nodos de destino.

   2. En el panel Configure Auto Scaling, configure los parámetros.

      • Limits on Node Quantity of Current Node Group: controla la cantidad de nodos del grupo para evitar que aumente o disminuya demasiado durante el escalado automático. Para cambiar esta configuración, haga clic en Modify Limit.

        • Maximum Number of Instances: número máximo de nodos en el grupo actual. Al alcanzar este límite, el grupo deja de escalar horizontalmente.

        • Minimum Number of Instances: número mínimo de nodos en el grupo actual. Al alcanzar este límite, el grupo deja de escalar verticalmente.

      • Trigger Rule: muestra y permite configurar las reglas de escalado del grupo de nodos actual.

        • Escalado basado en tiempo

          Si la carga de cómputo de su clúster tiene picos y valles predecibles, establezca una hora fija diaria, semanal o mensual para escalar horizontalmente una cantidad específica de nodos de tarea. Así se agregan recursos de cómputo cuando se necesitan, lo que ayuda a garantizar la finalización de los trabajos y a ahorrar costos. Las reglas de escalado se dividen en reglas de escalado horizontal y de escalado vertical.

          Importante

          Para evitar conflictos y garantizar un escalado fluido, no establezca las mismas horas de ejecución para las reglas de escalado horizontal y vertical.

          Esta sección utiliza una regla de escalado horizontal como ejemplo.

          Parámetro	Descripción
          Scale-out type	Escalar horizontalmente por tiempo.
          Rule Name	Los nombres de las reglas de escalado deben ser únicos dentro de un clúster.
          Frequency	Execute Repeatedly: la acción de escalado se ejecuta a una hora específica de forma diaria, semanal o mensual. Execute Only Once: la acción de escalado se ejecuta una sola vez a la hora especificada.
          Execution Time	Hora en la que se ejecuta la regla.
          Rule Expiration Time	Si establece Frequency en Execute Repeatedly, defina una hora de vencimiento para la regla. Después de ese momento, la regla deja de activar acciones de escalado.
          Retry Time Range	Una acción de escalado podría no ejecutarse a la hora programada por diversos motivos. Si establece un intervalo de reintento, el sistema vuelve a intentar la acción cada 30 segundos dentro de ese rango hasta lograrlo. El valor puede ir de 0 a 3600 segundos. Por ejemplo, si la acción A está programada pero no se ejecuta porque la acción B está en curso o en periodo de enfriamiento, el sistema reintenta la acción A cada 30 segundos durante el intervalo especificado. La acción se ejecuta en cuanto las condiciones lo permiten.
          Nodes for each scale-out	Cantidad de nodos que se agregan cuando se activa la regla.
          Best-effort Delivery	Se recomienda habilitar esta función. Una vez habilitada, el sistema entrega la mayor cantidad posible de nodos para garantizar la continuidad de las operaciones. Por ejemplo, si configura el sistema para escalar horizontalmente 100 nodos todos los días a las 00:00 y solo hay 90 disponibles, el proceso normalmente fallaría. Con esta función habilitada, se entregan los 90 nodos disponibles.

        • Escalado basado en carga

          Nota

          Esta función solo es compatible cuando el servicio YARN está desplegado en el clúster.

          Si no puede predecir con exactitud los picos y valles de su carga de cómputo de big data, pero conoce bien su modelo de negocio, utilice el escalado basado en carga. Las reglas de escalado se dividen en reglas de escalado horizontal y de escalado vertical. Esta sección utiliza una regla de escalado horizontal como ejemplo.

          Parámetro	Descripción
          Scale-out type	Escalar horizontalmente por carga.
          Rule Name	Los nombres de las reglas de escalado deben ser únicos dentro de un clúster.
          Load Metric-based Trigger Conditions	Condiciones que activan la regla de escalado basada en carga. Seleccione una o más métricas de carga definidas por el sistema. Para elegir varias métricas, haga clic en Add Metric. Se incluyen a continuación: Métrica de carga: nombre de una métrica de carga admitida por el sistema. Para obtener más información sobre la correspondencia entre las métricas de escalado automático de E-MapReduce y las del servicio YARN, consulte Mapping between E-MapReduce auto scaling metrics and YARN service metrics. Nota Las métricas de carga admitidas varían según el tipo de clúster. Prevalecen las métricas reales que se muestran en la consola. Método de agregación: método (promedio, máximo o mínimo) que se usa para evaluar la métrica de carga frente a un umbral durante un periodo estadístico. La regla se activa si el valor agregado alcanza el umbral.
          Multi-metric Relationship	Seleccione All Metrics Meet the Conditions o Any Metric Meets the Condition.
          Statistical Period	Ventana de tiempo para recopilar y agregar las métricas. Un periodo más corto hace que la regla sea más sensible a los cambios de carga. Seleccione un periodo estadístico razonable según las necesidades de su negocio.
          Condition Repetition Threshold	Cantidad de periodos estadísticos consecutivos en los que la métrica debe superar el umbral antes de activar la regla. Esto evita el escalado provocado por picos breves.
          Nodes for each scale-out	Cantidad de nodos que se agregan cuando se activa la regla.
          Best-effort Delivery	Si habilita esta función, el sistema entrega la mayor cantidad posible de nodos. Evalúe si conviene habilitarla para el escalado basado en carga. A diferencia del escalado por tiempo, donde la capacidad necesaria se conoce, el escalado por carga reacciona a las métricas y un cumplimiento parcial podría no ser deseable.
          Cooldown Time	Intervalo entre el inicio de una actividad de escalado automático y el momento en que puede comenzar otra. Durante este periodo, se ignoran todas las activaciones de escalado. Cuando termina el enfriamiento, el sistema solo responde a nuevas activaciones que cumplan las condiciones de escalado. Este periodo de enfriamiento permite que la carga del sistema se estabilice después de un evento de escalado antes de iniciar otro.
          Effective Time Period	Parámetro opcional que indica el rango de tiempo durante el cual una regla de escalado basada en carga está activa. De forma predeterminada, la regla funciona las 24 horas del día, los 7 días de la semana. Si establece un rango de tiempo, las actividades de escalado solo se activan dentro de ese periodo.

   3. Una vez completada la configuración, haga clic en Save and Apply.

      Cuando se cumplen las condiciones, se activan las actividades de escalado automático para el grupo de nodos.

Método 2: Configurar reglas durante la creación del clúster

1. Inicie sesión en la consola EMR on ECS.

2. En la barra de navegación superior, seleccione una región y un resource group según sus necesidades.

3. Haga clic en CREATE_CLUSTER. Para obtener más información sobre los parámetros, consulte Create a cluster.

   Nota

   Debe agregar un grupo de nodos de tarea pay-as-you-go al clúster antes de configurar las reglas correspondientes.

4. Configure Cluster Scaling.

   1. Seleccione Custom Auto Scaling Rule y haga clic en Edit en la columna Actions del grupo de nodos de destino.

   2. En el panel Configure Auto Scaling, configure los parámetros. Para obtener más información, consulte Configure scaling rules.

   3. Una vez completada la configuración, haga clic en Save and Apply.

5. Confirme el pedido y cree el clúster.

   Después de crear el clúster, las actividades de escalado se activan para el grupo de nodos cuando se cumplen las condiciones de la regla.

Método 3: Configurar reglas con un SDK

Al crear un clúster o un grupo de nodos, configure reglas de escalado personalizadas para automatizar la creación y gestión de nodos. Para obtener más información, consulte Create a cluster y Create a node group. También configure reglas de escalado personalizadas para un grupo de nodos existente. Para obtener más información, consulte Create custom auto scaling policies.

A continuación se muestra un ejemplo de código Java para configurar una regla de escalado horizontal basada en carga.

// This file is auto-generated, don't edit it. Thanks.
package com.aliyun.sample;

import com.aliyun.tea.*;

public class Sample {

    /**
     * <b>description</b> :
     * <p>Use an AccessKey pair to initialize the client.</p>
     * @return Client
     * 
     * @throws Exception
     */
    public static com.aliyun.emr20210320.Client createClient() throws Exception {
        // Leaking source code may cause the AccessKey pair to be leaked, posing a threat to the security of all your resources. The following code is for reference only.
        // We recommend that you use the more secure STS method for authentication.
        com.aliyun.teaopenapi.models.Config config = new com.aliyun.teaopenapi.models.Config()
                // Required. Make sure that the ALIBABA_CLOUD_ACCESS_KEY_ID environment variable is set.
                .setAccessKeyId(System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID"))
                // Required. Make sure that the ALIBABA_CLOUD_ACCESS_KEY_SECRET environment variable is set.
                .setAccessKeySecret(System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET"));
        // For the endpoint, see https://api.alibabacloud.com/product/Emr.
        config.endpoint = "emr.eu-central-1.aliyuncs.com";
        return new com.aliyun.emr20210320.Client(config);
    }

    public static void main(String[] args_) throws Exception {
        java.util.List<String> args = java.util.Arrays.asList(args_);
        com.aliyun.emr20210320.Client client = Sample.createClient();
        com.aliyun.emr20210320.models.ScalingConstraints scalingConstraints = new com.aliyun.emr20210320.models.ScalingConstraints()
                .setMaxCapacity(10)
                .setMinCapacity(0);
        com.aliyun.emr20210320.models.TriggerCondition scalingRule0MetricsTriggerTriggerCondition0 = new com.aliyun.emr20210320.models.TriggerCondition()
                .setMetricName("yarn_resourcemanager_queue_AvailableVCoresPercentage")
                .setStatistics("AVG")
                .setComparisonOperator("LE")
                .setThreshold(15D);
        com.aliyun.emr20210320.models.TriggerCondition scalingRule0MetricsTriggerTriggerCondition1 = new com.aliyun.emr20210320.models.TriggerCondition()
                .setMetricName("yarn_resourcemanager_queue_AvailableMBPercentage")
                .setStatistics("AVG")
                .setComparisonOperator("LE")
                .setThreshold(15D);
        com.aliyun.emr20210320.models.MetricsTrigger scalingRule0MetricsTrigger = new com.aliyun.emr20210320.models.MetricsTrigger()
                .setTimeWindow(300)
                .setEvaluationCount(1)
                .setCoolDownInterval(300)
                .setConditionLogicOperator("Or")
                .setConditions(java.util.Arrays.asList(
                    scalingRule0MetricsTriggerTriggerCondition0,
                    scalingRule0MetricsTriggerTriggerCondition1
                ));
        com.aliyun.emr20210320.models.ScalingRule scalingRule0 = new com.aliyun.emr20210320.models.ScalingRule()
                .setRuleName("default")
                .setTriggerType("METRICS_TRIGGER")
                .setActivityType("SCALE_OUT")
                .setAdjustmentValue(1)
                .setMetricsTrigger(scalingRule0MetricsTrigger);
        com.aliyun.emr20210320.models.PutAutoScalingPolicyRequest putAutoScalingPolicyRequest = new com.aliyun.emr20210320.models.PutAutoScalingPolicyRequest()
                .setRegionId("cn-hangzhou")
                .setClusterId("c-xxxx")
                .setNodeGroupId("ng-xxx")
                .setScalingRules(java.util.Arrays.asList(
                    scalingRule0
                ))
                .setConstraints(scalingConstraints);
        com.aliyun.teautil.models.RuntimeOptions runtime = new com.aliyun.teautil.models.RuntimeOptions();
        try {
            // Print the API return values on your own.
            client.putAutoScalingPolicyWithOptions(putAutoScalingPolicyRequest, runtime);
        } catch (TeaException error) {
            // The following code is for demonstration purposes only. We recommend that you handle exceptions with caution and do not ignore them in your project.
            // Error message
            System.out.println(error.getMessage());
            // Diagnosis address
            System.out.println(error.getData().get("Recommend"));
            com.aliyun.teautil.Common.assertAsString(error.message);
        } catch (Exception exception) {
            TeaException error = new TeaException(exception.getMessage(), exception);
            // The following code is for demonstration purposes only. We recommend that you handle exceptions with caution and do not ignore them in your project.
            // Error message
            System.out.println(error.getMessage());
            // Diagnosis address
            System.out.println(error.getData().get("Recommend"));
            com.aliyun.teautil.Common.assertAsString(error.message);
        }        
    }
}