E-MapReduce:Use EMR-CLI to deploy a custom gateway environment

Options de déploiement de la passerelle

Une passerelle constitue une couche d'isolation pour la soumission de tâches, fournie par EMR. Ses principaux avantages sont les suivants :

• Découpler les charges de travail client des services principaux du cluster

  Décharge les opérations client telles que spark-submit, hive -f et yarn application des nœuds maîtres.

• Activer l'isolation dans un environnement multi-locataire

  Prend en charge des environnements d'exécution distincts pour les utilisateurs ou les départements.

• Améliorer la stabilité et la maintenabilité du cluster

  Empêche les soumissions fréquentes de tâches, le débogage de scripts, les conflits d'environnement ou la contention des ressources d'affecter les services critiques tels que YARN ResourceManager et HDFS NameNode.

EMR propose trois options de passerelle adaptées à différents types de clusters, versions et exigences architecturales.

Prérequis

Un cluster de calcul E-MapReduce pour les scénarios DataLake, Dataflow, OLAP ou personnalisé doit être en cours d'exécution. Pour obtenir des instructions sur la création d'un cluster, consultez Créer un cluster.

Limitations

• Type de cluster : Cette solution s'applique uniquement au déploiement d'un environnement de passerelle pour les clusters DataLake, Dataflow, OLAP et personnalisés. Si le type et la version du cluster sont compatibles, il est recommandé d'utiliser un groupe de nœuds de passerelle.

  Pour obtenir des informations sur le déploiement d'un environnement de passerelle pour les clusters Hadoop et Kafka existants, consultez Créer un cluster de passerelle.

  Remarque

  Seuls les comptes Alibaba Cloud ayant créé des clusters Hadoop ou Kafka avant le 19 décembre 2022 à 17 h 00 (UTC+8) peuvent continuer à en créer.

• Installation par écrasement : EMR-CLI déploie les clients de passerelle en mode écrasement. Un redéploiement sur une instance ECS disposant déjà d'une passerelle écrase l'ancien client et installe le nouveau dans le même répertoire.

• Déploiement isolé : N'utilisez pas une instance ECS existante de votre cluster EMR (tel qu'un nœud Master, Core ou Task) comme nœud de passerelle. Cela empêche l'environnement client d'interférer avec le fonctionnement normal du cluster.

• Services pris en charge : Cette méthode de déploiement prend en charge les clients pour les services suivants : HDFS, YARN, HBase, Hive, Spark 2, Spark 3, JindoSDK, Flink, Sqoop, Impala, Presto, Hudi, Iceberg, Tez et Delta Lake.

Premier déploiement

1. Dans la console ECS, créez une instance. Pour plus d'informations, consultez Créer une instance à l'aide de l'assistant.

   Remarque

   L'instance ECS ne nécessite pas d'accès au réseau public.

   Les paramètres suivants sont recommandés.

   |
   **Paramètre**
   |
   **Description**
   | | --- | --- | |
   Région et zone
   |
   Même région et même zone que le cluster EMR.
   | |
   Image
   |
   Même système d'exploitation que les instances du cluster EMR.
   | |
   Disque système
   |
   Un disque ESSD d'au moins 60 GiB est recommandé.
   | |
   Réseau
   |
   Même Virtual Private Cloud (VPC) que le cluster EMR.
   | |
   Groupe de sécurité
   |
   Utilisez le même groupe de sécurité que le groupe de nœuds maître du cluster EMR. Cela garantit la connectivité réseau entre l'instance ECS et le cluster EMR.
   |
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   

2. Créez un rôle RAM ECS dédié pour la passerelle EMR.

   1. Connectez-vous à la console RAM en tant qu'administrateur RAM.

   2. Dans le volet de navigation de gauche, sélectionnez Identities > Role.

   3. Sur la page Role, cliquez sur Create Role.

   4. Dans le panneau Create Role, définissez Principal Type sur Cloud Service et Principal Name sur Elastic Compute Service, puis cliquez sur OK.

   5. Saisissez un Role Name (par exemple, ECSForEMRGatewayRole), puis cliquez sur OK.

3. Accordez des autorisations au rôle RAM.

   1. Dans l'onglet Permission Settings, cliquez sur Add Authorization.

   2. Dans le panneau Add Authorization, sélectionnez System Policy. Recherchez et sélectionnez AliyunEMRFullAccess, AliyunOSSFullAccess et AliyunDLFFullAccess. Ensuite, cliquez sur OK.

   3. Cliquez sur Close.

4. Attachez le rôle RAM à l'instance ECS.

   1. Connectez-vous à la console ECS.

   2. Dans la barre de navigation de gauche, sélectionnez Instances & Images > Instance.

   3. Dans la barre de menu supérieure, sélectionnez la région.

   4. Localisez l'instance ECS nouvellement créée et sélectionnez > Instance Settings > Attach/Detach RAM Role.

   5. Dans la boîte de dialogue qui s'affiche, sélectionnez le rôle ECSForEMRGatewayRole et cliquez sur OK.

5. Connectez-vous à l'instance ECS. Pour plus d'informations, consultez Se connecter à une instance.

6. Exécutez la commande suivante pour installer EMR-CLI.

   regionId=`curl http://100.100.100.200/latest/meta-data/region-id`; curl https://ecm-repo-${regionId}.oss-${regionId}-internal.aliyuncs.com/emrcli/emrcli.sh -o /tmp/emrcli.sh; chmod 755 /tmp/emrcli.sh; sh /tmp/emrcli.sh install ${regionId}

   Une installation réussie renvoie le message suivant :

   install emrcli success

7. Exécutez la commande suivante pour déployer le client de passerelle EMR.

   emrcli gateway deploy \
     --clusterId <ClusterId> \
     --appNames <ApplicationName>

   Remplacez les paramètres suivants par vos valeurs réelles.

   |
   **Paramètre**
   |
   **Obligatoire**
   |
   **Description**
   | | --- | --- | --- | |
   clusterId
   |
   Oui
   |
   L'ID du cluster E-MapReduce.
   | |
   appNames
   |
   Non
   |
   Les noms des applications. Séparez plusieurs noms par une virgule (,), par exemple `HDFS,YARN`.
   
   
   S'ils sont omis, les clients pour toutes les applications prises en charge dans le cluster sont installés par défaut.
   |

   Un déploiement réussi renvoie le message suivant :

   deployGateway success

   Important

   Après l'installation de la passerelle, la variable d'environnement système JAVA_HOME est définie sur /usr/lib/jvm/java-1.8.0. Vous pouvez la modifier dans le fichier /etc/profile.d/emr_env.sh, mais cela peut affecter le fonctionnement de la passerelle. Procédez avec prudence.

   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   

8. Reconnectez-vous à l'instance ECS pour appliquer les nouvelles variables d'environnement.

9. Facultatif : Configurez la résolution DNS pour le nœud de passerelle.

   Important

   Cette étape est requise si la passerelle inclut le service Spark.

   1. Ajoutez une zone. Pour plus d'informations, consultez Ajouter une zone faisant autorité intégrée.

   2. Ajoutez un enregistrement DNS. Pour plus d'informations, consultez Ajouter des enregistrements DNS.

      Le tableau suivant décrit les paramètres requis.

      |
      **Paramètre**
      |
      **Description**
      | | --- | --- | |
      **Record type**
      |
      Utilisez la valeur par défaut **A**.
      | |
      **Hostname**
      |
      Saisissez le nom d'hôte du nœud de passerelle, par exemple iZ2zea8r0aht2vzbqci****.
      
      
      Vous pouvez obtenir le nom d'hôte en exécutant la commande `hostname`.
      | |
      **Record value**
      |
      Saisissez l'adresse IP interne du nœud de passerelle.
      
      
      Vous pouvez consulter cette adresse sur la page de gestion des nœuds.
      | |
      **TTL value**
      |
      Utilisez la valeur par défaut.
      |
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      

Gestion de la passerelle

Une fois la passerelle créée, vous pouvez exécuter des commandes pour mettre à jour les composants client ou synchroniser les configurations lorsque des services sont ajoutés ou modifiés dans le cluster associé.

# Example: Add the FLINK client to an existing HDFS and YARN setup
emrcli gateway deploy \
  --clusterId <ClusterId> \
  --appNames HDFS,YARN,FLINK

deployGateway success

# Run the synchronization command
emrcli gateway refreshConfigs \
  --clusterId <ClusterId> \
  --appNames <ApplicationName> # Optional. Specify the applications to synchronize.

refreshConfiguration success

Gestion d'EMR-CLI

emrcli version

2.0.0