E-MapReduce:Actualizar la configuración de los nodos

Requisitos previos

Debe contar con un clúster de E-MapReduce (EMR). Para obtener más información, consulte Create a cluster.

Limitaciones

• No es posible actualizar la configuración de instancias ECS pertenecientes a la familia de instancias de big data ni de aquellas que utilizan discos SSD locales.

• Solo se admite la actualización de la configuración de instancias ECS dentro de un grupo de nodos. No se pueden reducir las especificaciones.

Procedimiento

1. Vaya a la página Nodes.

   1. Inicie sesión en la consola de E-MapReduce.

   2. En la barra de navegación superior, seleccione una región y un resource group.

   3. En la columna Actions del clúster deseado, haga clic en Nodes.

2. En la página Nodes, dentro de la columna Actions del grupo de nodos objetivo, seleccione > Upgrade Configuration.

3. Configure los parámetros de actualización.

   1. En el cuadro de diálogo Upgrade Configuration, defina los siguientes ajustes.

      Parámetro	Descripción
      Instance Type	Seleccione un tipo de instancia con especificaciones superiores. Nota Los tipos de instancia disponibles para la actualización se muestran directamente en la consola.
      Rolling Restart	Off (predeterminado): reinicia todas las instancias ECS del grupo de nodos de forma simultánea. On: reinicia las instancias de manera secuencial. El sistema espera a que una instancia ECS y sus servicios de big data se recuperen por completo antes de proceder con la siguiente.

   2. Haga clic en OK.

      La generación del pedido puede tardar algunos minutos.

   3. Pague el pedido.

      Una vez realizado el pago, el nuevo tipo de instancia aparecerá en la consola, pero no surtirá efecto hasta que finalice el proceso de actualización.

      Importante

      El proceso de actualización comienza inmediatamente después de pagar el pedido. Durante este proceso, los nodos del grupo actual se reinician automáticamente, lo cual podría afectar sus cargas de trabajo en producción. Proceda con precaución.

4. Opcional: Modifique la configuración de YARN.

   Si su clúster tiene YARN instalado, actualice manualmente la configuración de YARN para aprovechar los nuevos recursos.

   1. En la pestaña Services de la consola de E-MapReduce (EMR), haga clic en Configure dentro de la sección de YARN.

   2. En la lista desplegable Default Cluster Configuration, seleccione Node Group Configuration.

      Haga clic en la pestaña Configure.

   3. En la lista desplegable Select a node group., elija el grupo de nodos que actualizó.

      Los grupos de nodos disponibles incluyen emr-master (MASTER), emr-core (CORE) y task (TASK).

   4. Modifique la configuración de CPU.

      Utilice el cuadro de búsqueda para localizar el parámetro yarn.nodemanager.resource.cpu-vcores y ajuste su valor según sus necesidades.

      Para cargas de trabajo intensivas en cómputo, se recomienda una proporción de 1:1 entre el parámetro y las vCPU. En el caso de cargas mixtas, puede establecer una proporción de hasta 2:1.

      Por ejemplo, si un nodo de cómputo cuenta con 32 vCores para una carga intensiva, establezca yarn.nodemanager.resource.cpu-vcores en 32. Si el mismo nodo maneja una carga mixta, puede configurar yarn.nodemanager.resource.cpu-vcores con un valor entre 32 y 64.

   5. Ajuste la configuración de memoria.

      Busque el parámetro yarn.nodemanager.resource.memory-mb en el cuadro de búsqueda y asígnele el valor de node memory*0.8, expresado en MB.

      Por ejemplo, si el nodo dispone de 32 GB de memoria, configure yarn.nodemanager.resource.memory-mb en 26214.

   6. Guarde la configuración.

      1. En la parte inferior de la página, haga clic en Save.

      2. En el cuadro de diálogo que aparece, introduzca un Execution Reason y haga clic en Save.

   7. Despliegue la configuración.

      1. Seleccione More > Configure.

      2. En el cuadro de diálogo que aparece, introduzca un Execution Reason y haga clic en OK.

      3. En el cuadro de diálogo de confirmación, haga clic en OK.

         Para verificar el estado de la tarea, haga clic en Operation History en la parte superior de la página. Cuando el estado cambie a Complete, reinicie el servicio.

   8. Reinicie el servicio.

      1. Seleccione More > Restart.

      2. En el cuadro de diálogo que aparece, introduzca un Execution Reason y haga clic en OK.

      3. En el cuadro de diálogo de confirmación, haga clic en OK.

         Puede consultar el estado haciendo clic en Operation History en la parte superior de la página. Cuando el estado cambie a Complete, el servicio se habrá reiniciado correctamente.

      Importante

      Reinicie ResourceManager fuera de las horas pico para evitar que fallen los trabajos en ejecución.