E-MapReduce:Manage network connections

Prérequis

Un espace de travail Serverless Spark est créé. Pour plus d'informations, consultez la page Créer un espace de travail.

Limites d'utilisation

Les vSwitches sont pris en charge uniquement dans les zones de disponibilité suivantes.

• Chine continentale

  Nom de la région	ID de la région	Nom de la zone de disponibilité
  Chine (Hangzhou)	cn-hangzhou	Zone H Zone I Zone J
  Chine (Shanghai)	cn-shanghai	Zone L Zone F Zone G
  Chine (Pékin)	cn-beijing	Zone F Zone G Zone H Zone I Zone K
  Chine (Shenzhen)	cn-shenzhen	Zone E Zone F
  Chine (Hong Kong)	cn-hongkong	Zone B Zone C

• Autres pays et régions

  Nom de la région	ID de la région	Nom de la zone de disponibilité
  Allemagne (Francfort)	eu-central-1	Zone A Zone B
  Indonésie (Jakarta)	ap-southeast-5	Zone A Zone B
  Singapour	ap-southeast-1	Zone B Zone C
  États-Unis (Virginie)	us-east-1	Zone A Zone B
  États-Unis (Silicon Valley)	us-west-1	Zone A Zone B
  Japon (Tokyo)	ap-northeast-1	Zone B Zone C
  Mexique (Querétaro)	na-south-1	Zone A
  Philippines (Manille)	ap-southeast-6	Zone A Zone B

Créer une connexion réseau

1. Accédez à la page Network Connection.

   1. Connectez-vous à la console EMR.

   2. Dans le volet de navigation de gauche, sélectionnez EMR Serverless > Spark.

   3. Sur la page Spark, cliquez sur le nom de l'espace de travail cible.

   4. Sur la page EMR Serverless Spark, cliquez sur Normal Network Connection dans le volet de navigation de gauche.

2. Sur la page Normal Network Connection, cliquez sur Create Network Connection.

3. Dans la boîte de dialogue Create Network Connection, configurez les paramètres suivants et cliquez sur OK.

   Parameter	Description
   Name	Saisissez un nom pour la connexion.
   VPC	Sélectionnez le même VPC que celui du cluster EMR. Si aucun VPC n'est disponible, cliquez sur Create VPC pour en créer un dans la console VPC. Pour plus d'informations, consultez la rubrique VPCs and vSwitches. Remarque Si votre application Serverless Spark nécessite un accès à Internet, assurez-vous que la connexion réseau le permet. Par exemple, vous pouvez déployer une passerelle NAT publique dans le VPC pour autoriser l'accès à Internet des instances Serverless Spark. Pour plus d'informations, consultez la rubrique Public NAT Gateway.
   vSwitch	Sélectionnez un vSwitch situé dans le même VPC que le cluster EMR. Si aucun vSwitch n'est disponible dans la zone actuelle, cliquez sur vSwitch pour en créer un dans la console VPC. Pour plus d'informations, consultez la rubrique Create and manage vSwitches. Important Vous ne pouvez sélectionner des vSwitches que dans certaines zones. Pour plus d'informations, consultez la section Limites d'utilisation.

   La connexion réseau est créée lorsque l'état Status passe à Succeeded.

   

Configurer les règles de groupe de sécurité

Après avoir créé une connexion réseau, vous devez autoriser le bloc CIDR du vSwitch utilisé par cette connexion dans le groupe de sécurité du cluster qui héberge le service cible. Sans cette configuration, Serverless Spark ne pourra pas accéder au service. Les étapes suivantes utilisent un cluster EMR on ECS à titre d'exemple.

1. Obtenez le bloc CIDR du vSwitch spécifié dans la connexion réseau.

   Connectez-vous à la console VPC et accédez à la page vSwitch pour obtenir le bloc CIDR du vSwitch.

   Console VPC

2. Ajoutez une règle de groupe de sécurité.

   1. Connectez-vous à la console EMR on ECS .

   2. Sur la page EMR on ECS, cliquez sur l'ID du cluster cible.

   3. Sur la page Basic Information, dans la section Security, cliquez sur le lien situé à côté de Cluster Security Group.

   4. Sur la page Security Group Details, dans la section Rules, cliquez sur Add Rule, configurez les paramètres suivants, puis cliquez sur OK.

      Parameter	Description
      Protocol	Type de protocole réseau à autoriser. La valeur par défaut est TCP. Remarque Si votre connexion réseau est utilisée pour l'authentification Kerberos, nous vous recommandons de sélectionner UDP et d'ouvrir le port 88. Pour plus d'informations sur l'authentification Kerberos, consultez la rubrique Enable Kerberos authentication.
      Source	Saisissez le bloc CIDR du vSwitch obtenu à l'étape précédente. Important Pour éviter les risques de sécurité tels que les attaques provenant d'utilisateurs externes, ne définissez pas Authorization Object sur 0.0.0.0/0.
      Destination (Current Instance)	Port de destination à ouvrir. Par exemple, 9083.

Étapes suivantes

Une fois la connexion réseau créée et les règles de groupe de sécurité configurées, vous pouvez sélectionner cette connexion dans une session SQL, une session notebook ou un job par lots pour accéder aux sources de données situées dans le VPC. Pour un exemple de bout en bout illustrant l'accès à un Hive Metastore dans votre propre VPC, consultez la rubrique Lire et écrire dans HMS.