E-MapReduce:Manage node groups

Contexto

El grupo de nodos es la unidad central para gestionar los nodos de un clúster en E-MapReduce. Por lo general, está formado por instancias ECS del mismo tipo. Al operar sobre un grupo de nodos, usted gestiona de forma masiva todos los nodos que contiene. También puede crear grupos de nodos con distintas especificaciones de instancia según sus necesidades de negocio. Por ejemplo, puede usar instancias optimizadas para memoria (proporción vCore-memoria de 1 vCPU:8 GiB) para el procesamiento de big data sin conexión e instancias optimizadas para cómputo (proporción vCore-memoria de 1 vCPU:2 GiB) para el entrenamiento de modelos.

Para obtener información sobre la gestión de grupos de nodos en clústeres Hadoop, Data Science y EMR Studio, consulte Manage node groups (Hadoop, Data Science, and EMR Studio clusters).

Límites

• Las operaciones descritas en este tema aplican únicamente a clústeres DataLake, DataFlow, OLAP, DataServing y Custom.

• No es posible ejecutar Upgrade Configuration en grupos de nodos Task cuyo Billing Method sea Pay-as-you-go o Preemptible Instance.

  Para más detalles sobre cómo actualizar la configuración de los nodos, consulte Upgrade node configurations.

Agregar un grupo de nodos

1. Acceda a la página de gestión de nodos.

   1. Inicie sesión en la consola de EMR.

   2. En la barra de navegación superior, seleccione una región y un resource group según sus necesidades.

   3. En la columna Actions del clúster objetivo, haga clic en Nodes.

2. En la página Nodes, haga clic en Add Node Group.

3. En el panel Add Node Group, configure los siguientes parámetros.

   Parámetro	Descripción
   Zone	De forma predeterminada, se muestra la zona donde se ubica el clúster. Haga clic en View Zones para seleccionar otra zona dentro de la misma región. En otras zonas solo es posible agregar grupos de nodos Task. Después de agregar un grupo de nodos entre zonas, se recomienda utilizar la función YARN Node Labels para particionar el clúster. Este enfoque minimiza el impacto de un ancho de banda de red inestable en la eficiencia de las tareas, especialmente durante el proceso de shuffle. Para más información, consulte Use Node Labels for node partitioning.
   Node Group Type	Puede agregar los siguientes tipos de grupos de nodos: Core: grupo de nodos core. Recomendado para casos de uso con volúmenes pequeños de datos, como análisis de registros y estadísticas de tráfico web. Task: grupo de nodos de cómputo. Ideal cuando se requieren recursos de cómputo temporales, por ejemplo, en procesamiento por lotes y limpieza de datos. Gateway: grupo de nodos de tareas. Esta opción solo está disponible para clústeres DataLake y DataFlow que ejecutan EMR-5.10.1 o posterior, así como para clústeres Custom con EMR-5.17.1 o posterior. Apropiado para escenarios con envíos frecuentes de trabajos, como el entrenamiento de modelos por científicos de datos o el procesamiento de datos por ingenieros de datos. Master-Extend: grupo de extensión de carga. Disponible únicamente en clústeres de alta disponibilidad que ejecutan EMR-3.51.1 o posterior, o bien EMR-5.17.1 o posterior. Si el nodo maestro de un clúster presenta una carga elevada, agregue un grupo de nodos Master-Extend y despliegue los servicios en distintos grupos de nodos para reducir dicha carga. Este método resulta útil en clústeres de gran escala con cargas altas en el nodo maestro. Nota De forma predeterminada, no se despliegan servicios en un grupo de nodos Master-Extend. Debe seleccionar los servicios que se desplegarán en este grupo durante su creación.
   Billing Method	Método de facturación del grupo de nodos. Los métodos compatibles son pay-as-you-go, spot instance y suscripción. Nota Solo los grupos de nodos Task admiten instancias spot.
   Node Group Name	Los nombres de los grupos de nodos deben ser únicos dentro del clúster.
   Components	Únicamente los grupos de nodos Master-Extend permiten el despliegue personalizado de servicios. A continuación se muestran los servicios que se pueden desplegar: Hive: HiveMetaStore, HiveServer Kyuubi: KyuubiServer Spark: SparkHistoryServer, SparkThriftServer
   Assign Public Network IP	Indica si se asignan direcciones IP públicas a los nodos del grupo. Si habilita esta opción, todos los nodos del grupo reciben una dirección IP pública.
   vSwitch	Al crear un grupo de nodos, especifique un vSwitch dentro de la misma VPC. Esta configuración no se puede modificar después de crear el grupo. Nota El vSwitch debe ubicarse en la misma zona que el clúster.
   Additional Security Group	(Opcional) Asigne security groups adicionales al grupo de nodos. Un grupo de nodos admite un máximo de cuatro security groups adicionales.
   Instance Type	Seleccione un tipo de instancia según sus necesidades. Si el método de facturación es suscripción, solo es posible seleccionar un tipo de instancia. Si el método de facturación es pay-as-you-go o spot instance y el tipo de grupo de nodos es Task, puede elegir hasta 10 tipos de instancia alternativos con las mismas especificaciones de vCPU y memoria. La especificación mínima para un grupo de nodos Task (grupo de nodos elástico) es de 4 vCPU y 8 GiB de memoria. No es posible seleccionar un tipo de instancia con especificaciones inferiores. Las categorías de instancia incluyen propósito general, optimizada para memoria, SSD local y otros tipos. El tipo de instancia de propósito general mínimo es ecs.g7.xlarge (4 vCPU y 16 GiB de memoria), mientras que el tipo mínimo en la categoría Other es ecs.u1-c1m2.xlarge (4 vCPU y 8 GiB de memoria).
   Storage Configuration	System Disk: seleccione un ESSD o un Ultra Disk según sus necesidades. El tamaño del disco del sistema varía de 60 a 500 GiB. Se recomienda un tamaño de como mínimo 120 GiB. Data Disk: seleccione un ESSD o un Ultra Disk según sus necesidades. El tamaño del disco de datos varía de 40 a 32,768 GiB. Se recomienda un tamaño de como mínimo 80 GiB. Nota Si selecciona discos SSD mejorados, puede especificar distintos niveles de rendimiento (PL) según la capacidad del disco para cumplir con los requisitos de rendimiento del clúster. El nivel de rendimiento predeterminado es PL1. Al configurar el disco del sistema, puede elegir discos SSD mejorados con los siguientes niveles de rendimiento: PL0, PL1 y PL2. Para los discos de datos, los niveles disponibles son PL0, PL1, PL2 y PL3. Para más información, consulte Disks.
   Resource Reservation Policy	Nota Este parámetro solo está disponible cuando Node Group Type se establece en Task y Billing Method se establece en Pay-as-you-go. La política de reserva de recursos le permite asociar sus pools privados de capacidad de ECS. Acceda a la consola de ECS para reservar recursos. Para más información, consulte Resource Butler overview. Public Pool Only (predeterminado): satisface las solicitudes de recursos directamente desde los pools públicos. Private Pool First: prioriza el aprovisionamiento de instancias ECS desde su pool privado. Si los recursos de este pool son insuficientes, el sistema recurre al pool público. Specified Private Pool: designa un pool privado de ECS específico para el clúster actual de E-MapReduce.
   Automatic Compensation	Nota Este parámetro solo está disponible cuando Node Group Type se establece en Task. Si habilita esta función, E-MapReduce supervisa el estado de salud de los nodos del grupo. Cuando algún nodo presenta problemas, el servicio lo libera y crea la misma cantidad de nodos de reemplazo. Para más información, consulte Node compensation.
   Scaling Policy	Nota Este parámetro solo se configura cuando Billing Method se establece en Spot Instance. Priority-based Policy (predeterminado) El sistema intenta crear una instancia probando cada tipo especificado en orden hasta lograrlo correctamente. El tipo de instancia adquirido finalmente puede variar según el inventario disponible. Cost Optimization Policy Durante un escalado horizontal ascendente, el auto scaling intenta crear instancias ECS en orden ascendente según el precio unitario de vCPU. En un escalado descendente, elimina las instancias en orden descendente por dicho precio. Si el método de facturación de la configuración de escalado es spot instance, el sistema prioriza la creación de estas instancias. Cuando no es posible crearlas por falta de inventario u otros motivos, el sistema intenta automáticamente crear instancias pay-as-you-go. Para más información, consulte Cost optimization mode.
   Graceful Shutdown	Nota Este parámetro solo está disponible en clústeres donde se ha desplegado el servicio YARN. Si se habilita, durante un escalado descendente del grupo de nodos el sistema espera a que finalicen las tareas de un nodo o a que transcurra un tiempo de espera determinado antes de eliminarlo. Modifique el tiempo de espera del apagado controlado mediante el parámetro yarn.resourcemanager.nodemanager-graceful-decommission-timeout-secs en la página del servicio YARN.
   Add to Deployment Set	Nota Este parámetro está disponible para los grupos de nodos Core, Gateway y Master-Extend. Esta función se encuentra deshabilitada de forma predeterminada. Si la habilita, las instancias ECS se despliegan en distintos servidores físicos para garantizar la alta disponibilidad. Para más información, consulte Enable a deployment set.
   Custom Software Configuration	Esta función se encuentra deshabilitada de forma predeterminada. Si la habilita, proporcione un archivo de configuración JSON para agregar parámetros a nivel de grupo de nodos para los servicios durante la creación. Para más información, consulte Configure custom software.

   Si no especifica los parámetros Minimum Pay-As-You-Go Nodes, Percentage of Pay-As-You-Go Nodes ni Lowest-Cost Instance Types, el grupo de máquinas funciona como un grupo de escalado general de optimización de costos. Si los especifica, opera como un grupo de escalado de optimización de costos con instancias mixtas. Ambos tipos de grupos son totalmente compatibles entre sí en cuanto a interfaces y funciones.

   Mediante políticas de instancias mixtas adecuadas, un grupo de escalado de optimización de costos con instancias mixtas logra el mismo efecto que un grupo general específico. A continuación se presentan algunos ejemplos:

   • En un grupo de escalado general de optimización de costos, solo se crean instancias pay-as-you-go.

     En su grupo de escalado de optimización de costos con instancias mixtas, establezca Minimum Pay-As-You-Go Nodes en 0, Percentage of Pay-As-You-Go Nodes en 100 y Lowest-Cost Instance Types en 1.

   • En un grupo de escalado general de optimización de costos, se crean preferentemente preemptible instances.

     En su grupo de escalado de optimización de costos con instancias mixtas, establezca Minimum Pay-As-You-Go Nodes en 0, Percentage of Pay-As-You-Go Nodes en 0 y Lowest-Cost Instance Types en 1.

4. Haga clic en OK.

   Una vez agregado el grupo de nodos, podrá consultarlo en la página Nodes.

Modificar un grupo de nodos

1. En la página Nodes, haga clic en el nombre del grupo de nodos objetivo dentro de la columna Node Group Name.

2. En el cuadro de diálogo Node Group Attributes, modifique la configuración del grupo de nodos y haga clic en Save.

   • En los grupos de nodos Master, Core, Gateway y Master-Extend, es posible modificar el nombre del grupo y los security groups adicionales.

   • En los grupos de nodos Task, modifique información como el nombre del grupo, las especificaciones de los nodos y los security groups adicionales. También ajuste la configuración de la sección Advanced Information.

Eliminar un grupo de nodos

1. En la página Nodes, busque el grupo de nodos objetivo y haga clic en Delete Node Group dentro de la columna Actions.

2. En el cuadro de diálogo de confirmación, haga clic en Delete.

Modo de optimización de costos

Este modo le permite definir políticas de control de costos más detalladas para equilibrar el gasto y la estabilidad.

Temas relacionados

• Para escalar horizontalmente un grupo de nodos, consulte Scale out a cluster.

• Para reducir horizontalmente un grupo de nodos, consulte Scale in a cluster.

• Para ampliar la capacidad del disco, consulte Expand a disk.

• Para configurar políticas de auto scaling, consulte Create a custom auto scaling policy.

• Para consultar las actividades de auto scaling, consulte View auto scaling activities.