E-MapReduce:Crear un clúster Dataflow Kafka

Limitaciones

El servicio Kafka no es compatible con las versiones 5.18.0 y posteriores, ni con la 3.52.0 y posteriores de E-MapReduce (EMR). Se recomienda usar ApsaraMQ for Kafka o instalar Kafka manualmente.

Notas de uso

Para obtener recomendaciones detalladas de dimensionamiento, consulte Cluster resource assessment.

Procedimiento

1. Acceda a la página de creación de clústeres.

   1. Inicie sesión en la consola de E-MapReduce.

   2. Opcional: En la barra de navegación superior, seleccione una región y un resource group según sus necesidades de negocio.

      <!--@div {"id":"info_nzi_4cy_zc5","data-tag="info"}-->

      • Región: el clúster se crea en la región seleccionada. Este valor no se puede modificar después de la creación.

      • Resource Group: de forma predeterminada, se muestran todos los recursos de su cuenta.

   3. Haga clic en CREATE_CLUSTER.

2. Configure los ajustes del clúster.

   Es necesario configurar los ajustes de software, hardware y básicos del clúster.

   Importante

   Una vez creado el clúster, solo se puede modificar su nombre. Compruebe cuidadosamente todas las configuraciones antes de continuar. Para más información sobre los parámetros, consulte Create a cluster.

   1. Configure los ajustes de software.

      Parámetro	Ejemplo	Descripción
      Region	China (Hangzhou)	La región donde se crea el clúster. No se puede modificar después de la creación.
      Business Scenario	Real-time Data Streaming	Seleccione Real-time Data Streaming.
      Product Version	EMR-3.43.1	Seleccione una versión de EMR para consultar las versiones de los servicios incluidos. Por ejemplo, EMR-3.43.1 incluye Kafka 2.12_2.4.1, donde 2.12 es la versión de Scala y 2.4.1 es la versión de código abierto de Kafka.
      High Service Availability	On	Deshabilitado de forma predeterminada. Importante Se recomienda habilitar la alta disponibilidad porque el servicio Kafka en EMR depende de ZooKeeper. Al habilitar esta opción, se despliega un servicio ZooKeeper de tres nodos en el grupo de nodos master.
      Optional Services	Kafka	Seleccione el servicio Kafka. También puede seleccionar otros componentes. Los servicios correspondientes se inician automáticamente.
      Collect Service Operational Logs	On	Habilitado de forma predeterminada. Controla la recopilación de registros de todos los servicios. Estos registros se usan únicamente para el diagnóstico del clúster. Una vez creado el clúster, acceda a la página Basic Information para modificar el estado de Collection Status of Service Operational Logs. Importante Si deshabilita la recopilación de registros, las comprobaciones de estado de EMR y el soporte técnico serán limitados, pero las demás funciones seguirán operando con normalidad. Para conocer cómo deshabilitar esta función y su impacto, consulte How do I stop collecting service logs?.

   2. Configure los ajustes de hardware.

      Parámetro	Ejemplo	Descripción
      Billing Method	Pay-as-you-go	El método de facturación predeterminado es subscription. Se admiten los siguientes métodos: Pay-as-you-go: método de pospago que cobra por hora. Recomendado para pruebas de corta duración o cargas de trabajo dinámicas. Subscription: método de prepago en el que se pagan los recursos por adelantado. Nota Se recomienda usar la opción Pay-as-you-go para las pruebas. Una vez validadas correctamente, cree un nuevo clúster con Subscription para producción.
      Zone	China (Hangzhou) Zone I	Las zonas son ubicaciones físicas distintas dentro de la misma región, interconectadas mediante una red interna. Por lo general, puede usar la zona predeterminada.
      VPC	emr_test/vpc-bp1f4epmkvncimpgs****	De forma predeterminada, se selecciona una VPC existente. Para crear una nueva VPC, acceda a la consola de VPC. Para más información, consulte Create and manage a VPC.
      vSwitch	vsw_test/vsw-bp1e2f5fhaplp0g6p****	Seleccione un vSwitch en la zona especificada de la VPC elegida. Si no hay ninguno disponible en esa zona, cree uno desde la consola de VPC. Para más información, consulte VPCs and vSwitches.
      Default Security Group	sg-bp1ddw7sm2risw**/sg-bp1ddw7sm2risw**	De forma predeterminada, se selecciona un security group existente. Para más información sobre los security groups, consulte Security group overview. También puede hacer clic en create a new security group. para crear un security group en la consola de ECS. Para más información, consulte Create a security group. Importante Los enterprise security groups creados en la consola de ECS no son compatibles.
      Node Group	Configúrelo según sus necesidades.	Instance Type: seleccione un tipo de instancia según sus requerimientos. Para ver las recomendaciones de dimensionamiento, consulte Cluster resource assessment. Add to Deployment Set: cuando la alta disponibilidad está habilitada, los nodos master se agregan automáticamente a un deployment set. Para más información, consulte Enable a deployment set. System Disk: seleccione un tipo para el disco del sistema. System disk size: el valor puede ir de 80 GiB a 500 GiB, aunque se recomienda un mínimo de 120 GiB. Data Disk: seleccione un tipo para el disco de datos. Nota Se recomienda usar discos en la nube. Data disk size: el valor puede ir de 40 GiB a 32,768 GiB, aunque se recomienda un mínimo de 80 GiB. Instances: de forma predeterminada, se crean tres instancias master y tres core. Additional Security Group: asocie hasta dos security groups adicionales al grupo de nodos para controlar el acceso entre distintos recursos o aplicaciones externas. Assign Public Network IP: indica si se asocia una dirección IP elástica (EIP) al clúster. Deshabilitado de forma predeterminada. Nota Para acceder al clúster a través de la red pública después de crearlo, solicite una EIP en la consola de ECS. Para más información, consulte la documentación sobre cómo solicitar una EIP.

   3. Configure los ajustes básicos.

      En la sección Basic Information, configure los siguientes parámetros.

      Importante

      Los parámetros de la sección Advanced Settings no son compatibles. No los configure.

      Parámetro	Ejemplo	Descripción
      Cluster Name	Emr-Kafka	El nombre debe tener entre 1 y 64 caracteres. Puede contener letras, dígitos, guiones (-) y guiones bajos (_).
      Identity Credentials	Password	Key Pair (predeterminado): use una key pair SSH para iniciar sesión en las instancias Linux. Para más información sobre cómo usar una key pair, consulte SSH key pairs.
      		Password: establezca una contraseña para iniciar sesión en las instancias del nodo master. La contraseña debe tener entre 8 y 30 caracteres e incluir letras mayúsculas, letras minúsculas, dígitos y caracteres especiales. Los caracteres especiales permitidos son: !, @, #, $, %, ^, & y *.

3. En la página Confirm, seleccione la casilla E-MapReduce Terms of Service.

4. Haga clic en create.

   El clúster se crea correctamente cuando su Status cambia a Running.

Pasos siguientes

Después de crear el clúster, modifique los parámetros predeterminados para ajustarlos a sus requerimientos de producción. Por ejemplo:

• Determine si necesita habilitar SSL para cifrar las conexiones de red. Para más información, consulte Use SSL to encrypt Kafka connections.

• Determine si necesita habilitar SASL para la autenticación de inicio de sesión. Para más información, consulte Use SASL to authenticate a Kafka service.