E-MapReduce:Gestión de conexiones de red

Requisitos previos

Se ha creado un espacio de trabajo de Serverless Spark. Para obtener más información, consulte Create a workspace.

Límites de uso

Los vSwitches solo son compatibles con las siguientes zonas de disponibilidad.

• Mainland China

  Nombre de la región	ID de región	Nombre de la zona de disponibilidad
  China (Hangzhou)	cn-hangzhou	Zone H Zone I Zone J
  China (Shanghai)	cn-shanghai	Zone L Zone F Zone G
  China (Beijing)	cn-beijing	Zone F Zone G Zone H Zone I Zone K
  China (Shenzhen)	cn-shenzhen	Zone E Zone F
  China (Hong Kong)	cn-hongkong	Zone B Zone C

• Other Countries and Regions

  Nombre de la región	ID de región	Nombre de la zona de disponibilidad
  Germany (Frankfurt)	eu-central-1	Zone A Zone B
  Indonesia (Jakarta)	ap-southeast-5	Zone A Zone B
  Singapore	ap-southeast-1	Zone B Zone C
  US (Virginia)	us-east-1	Zone A Zone B
  US (Silicon Valley)	us-west-1	Zone A Zone B
  Japan (Tokyo)	ap-northeast-1	Zone B Zone C
  Mexico (Queretaro)	na-south-1	Zone A
  Philippines (Manila)	ap-southeast-6	Zone A Zone B

Crear una conexión de red

1. Vaya a la página Network Connection.

   1. Inicie sesión en la consola de EMR.

   2. En el panel de navegación izquierdo, seleccione EMR Serverless > Spark.

   3. En la página Spark, haga clic en el nombre del espacio de trabajo de destino.

   4. En la página EMR Serverless Spark, en el panel de navegación izquierdo, haga clic en Normal Network Connection.

2. En la página Normal Network Connection, haga clic en Create Network Connection.

3. En el cuadro de diálogo Create Network Connection, configure los siguientes parámetros y haga clic en OK.

   Parámetro	Descripción
   Name	Introduzca un nombre para la conexión.
   VPC	Seleccione la misma VPC que utiliza el clúster de EMR. Si no hay ninguna VPC disponible, haga clic en Create VPC para crear una en la consola de VPC. Para obtener más información, consulte VPCs and vSwitches. Nota Si su aplicación de Serverless Spark requiere acceso a Internet, asegúrese de que la conexión de red lo proporcione. Por ejemplo, puede desplegar una NAT gateway pública en la VPC para habilitar el acceso a Internet en las instancias de Serverless Spark. Para obtener más información, consulte Public NAT Gateway.
   vSwitch	Seleccione un vSwitch que se encuentre en la misma VPC que el clúster de EMR. Si no hay ningún vSwitch disponible en la zona actual, haga clic en vSwitch para crear uno en la consola de VPC. Para obtener más información, consulte Create and manage vSwitches. Importante Solo es posible seleccionar vSwitches en zonas específicas. Para obtener más información, consulte Usage limits.

   La conexión de red se crea cuando el Status cambia a Succeeded.

   

Configurar reglas de security group

Después de crear una conexión de red, debe permitir el bloque CIDR del vSwitch utilizado por dicha conexión en el security group del clúster que aloja el servicio de destino. De lo contrario, Serverless Spark no podrá acceder al servicio. Los siguientes pasos toman como ejemplo un clúster EMR on ECS.

1. Obtenga el bloque CIDR del vSwitch especificado en la conexión de red.

   Inicie sesión en la consola de VPC y vaya a la página vSwitch para obtener el bloque CIDR del vSwitch.

2. Agregue una regla de security group.

   1. Inicie sesión en la consola de EMR on ECS.

   2. En la página EMR on ECS, haga clic en el ID del clúster de destino.

   3. En la página Basic Information, en la sección Security, haga clic en el enlace junto a Cluster Security Group.

   4. En la página Security Group Details, en la sección Rules, haga clic en Add Rule, configure los siguientes parámetros y luego haga clic en OK.

      Parámetro	Descripción
      Protocol	El tipo de protocolo de red que se permitirá. Valor predeterminado: TCP. Nota Si su conexión de red se utiliza para autenticación Kerberos, se recomienda seleccionar UDP y abrir el puerto 88. Para obtener más información sobre la autenticación Kerberos, consulte Enable Kerberos authentication.
      Source	Introduzca el bloque CIDR del vSwitch que obtuvo en el paso anterior. Importante Para evitar riesgos de seguridad, como ataques de usuarios externos, no establezca Authorization Object en 0.0.0.0/0.
      Destination (Current Instance)	El puerto de destino que se abrirá. Por ejemplo, 9083.

Siguientes pasos

Una vez creada la conexión de red y configuradas las reglas del security group, podrá seleccionar dicha conexión en una sesión SQL, una sesión de notebook o un trabajo por lotes para acceder a orígenes de datos dentro de la VPC. Para consultar un ejemplo integral sobre cómo acceder a un Hive Metastore en su propia VPC, consulte Read from and write to HMS.