E-MapReduce:Manage node groups

Informations générales

Le groupe de nœuds est l'unité centrale de gestion des nœuds d'un cluster dans E-MapReduce. Il se compose généralement d'instances ECS du même type. Les opérations sur un groupe de nœuds s'appliquent à tous les nœuds qu'il contient, permettant une gestion groupée efficace. Créez des groupes de nœuds aux spécifications variées selon vos besoins métier. Par exemple, privilégiez des instances optimisées pour la mémoire (ratio vCPU/mémoire de 1:8 GiB) pour le traitement Big Data hors ligne, et des instances optimisées pour le calcul (ratio 1:2 GiB) pour l'entraînement de modèles.

Pour en savoir plus sur la gestion des groupes de nœuds dans les clusters Hadoop, Data Science et EMR Studio, consultez la rubrique Gérer les groupes de nœuds (clusters Hadoop, Data Science et EMR Studio).

Limites

• Les procédures décrites dans cette rubrique s'appliquent exclusivement aux clusters DataLake, DataFlow, OLAP, DataServing et Custom.

• Vous ne pouvez pas exécuter l'action Upgrade Configuration sur les groupes de nœuds Task dont la Billing Method est définie sur Pay-as-you-go ou Preemptible Instance.

  Pour plus d'informations sur la mise à niveau des configurations de nœuds, consultez la rubrique Mettre à niveau les configurations des nœuds.

Ajouter un groupe de nœuds

1. Accédez à la page de gestion des nœuds.

   1. Connectez-vous à la console EMR.

   2. Dans la barre de navigation supérieure, sélectionnez la région et le groupe de ressources souhaités.

   3. Dans la colonne Actions du cluster cible, cliquez sur Nodes.

2. Sur la page Nodes, cliquez sur Add Node Group.

3. Dans le volet Add Node Group, configurez les paramètres suivants.

   Paramètre	Description
   Zone	La zone du cluster s'affiche par défaut. Cliquez sur View Zones pour sélectionner une autre zone au sein de la même région. Seuls les groupes de nœuds Task peuvent être ajoutés dans d'autres zones. Après l'ajout d'un groupe de nœuds inter-zones, nous vous recommandons d'utiliser la fonctionnalité YARN Node Labels pour partitionner le cluster. Cette approche limite l'impact d'une bande passante réseau instable sur l'efficacité des tâches, notamment lors du processus de shuffle. Pour plus d'informations, consultez la rubrique Utiliser les libellés de nœuds pour le partitionnement des nœuds.
   Node Group Type	Vous pouvez ajouter les types de groupes de nœuds suivants : Core : Groupe de nœuds Core. Adapté aux cas d'utilisation impliquant de faibles volumes de données, tels que l'analyse des journaux ou les statistiques de trafic web. Task : Groupe de nœuds de calcul. Conçu pour les scénarios nécessitant des ressources de calcul temporaires, comme le traitement par lots ou le nettoyage des données. Gateway : Groupe de nœuds de tâche. Cette option n'est disponible que pour les clusters DataLake et DataFlow exécutant EMR-5.10.1 ou version ultérieure, ainsi que pour les clusters Custom exécutant EMR-5.17.1 ou version ultérieure. Elle convient aux environnements où les soumissions de jobs sont fréquentes, par exemple pour l'entraînement de modèles par les data scientists ou le traitement des données par les ingénieurs données. Master-Extend : Groupe d'extension de charge. Disponible uniquement pour les clusters haute disponibilité exécutant EMR-3.51.1 ou version ultérieure, ou EMR-5.17.1 ou version ultérieure. Si le nœud master d'un cluster subit une charge élevée, ajoutez un groupe de nœuds Master-Extend et déployez les services sur différents groupes pour alléger la charge du nœud master. Cette configuration est idéale pour les clusters à grande échelle soumis à une forte sollicitation du nœud master. Remarque Par défaut, aucun service n'est déployé sur un groupe de nœuds Master-Extend. Vous devez sélectionner manuellement les services à déployer lors de la création du groupe.
   Billing Method	Mode de facturation du groupe de nœuds. Les options prises en charge sont le paiement à l'utilisation, les instances spot et l'abonnement. Remarque Seuls les groupes de nœuds Task prennent en charge les instances spot.
   Node Group Name	Le nom du groupe de nœuds doit être unique au sein du cluster.
   Components	Seuls les groupes de nœuds Master-Extend permettent un déploiement personnalisé des services. Les services suivants peuvent être déployés : Hive : HiveMetaStore, HiveServer Kyuubi : KyuubiServer Spark : SparkHistoryServer, SparkThriftServer
   Assign Public Network IP	Indique si des adresses IP publiques doivent être attribuées aux nœuds du groupe. Si vous activez cette option, tous les nœuds du groupe recevront une adresse IP publique.
   vSwitch	Lors de la création d'un groupe de nœuds, vous pouvez spécifier un vSwitch appartenant au même VPC. Ce paramètre devient immuable après la création du groupe. Remarque Le vSwitch doit se trouver dans la même zone que le cluster.
   Additional Security Group	(Facultatif) Vous pouvez attribuer des groupes de sécurité supplémentaires au groupe de nœuds. Un groupe de nœuds peut comporter jusqu'à quatre groupes de sécurité supplémentaires.
   Instance Type	Sélectionnez un type d'instance adapté à vos besoins. Si le mode de facturation est l'abonnement, vous ne pouvez sélectionner qu'un seul type d'instance. Si le mode de facturation est le paiement à l'utilisation ou les instances spot, et que le type de groupe de nœuds est Task, vous pouvez choisir jusqu'à 10 types d'instance alternatifs présentant les mêmes spécifications en vCPU et en mémoire. La spécification minimale d'instance pour un groupe de nœuds Task (groupe de nœuds élastique) est de 4 vCPU et 8 GiB de mémoire. Il est impossible de sélectionner un type d'instance inférieur. Les catégories d'instances incluent les instances à usage général, optimisées pour la mémoire, avec SSD local, ainsi que d'autres types. Le type d'instance à usage général minimal est ecs.g7.xlarge (4 vCPU et 16 GiB de mémoire), tandis que le type minimal dans la catégorie Autre est ecs.u1-c1m2.xlarge (4 vCPU et 8 GiB de mémoire).
   Storage Configuration	System Disk : Choisissez un disque ESSD ou Ultra Disk selon vos besoins. La taille du disque système peut varier de 60 à 500 GiB. Nous recommandons une taille minimale de 120 GiB. Data Disk : Choisissez un disque ESSD ou Ultra Disk selon vos besoins. La taille du disque de données peut varier de 40 à 32 768 GiB. Nous recommandons une taille minimale de 80 GiB. Remarque Si vous sélectionnez des disques SSD améliorés (enhanced SSDs), vous pouvez définir différents niveaux de performance (PL) en fonction de la capacité du disque afin de répondre aux exigences de performance spécifiques du cluster. Le niveau de performance par défaut est PL1. Lors de la configuration du disque système, vous pouvez choisir parmi les niveaux PL0, PL1 et PL2. Pour les disques de données, les niveaux disponibles sont PL0, PL1, PL2 et PL3. Pour plus d'informations, consultez la rubrique Disques.
   Resource Reservation Policy	Remarque Ce paramètre n'est disponible que lorsque le paramètre Node Group Type est défini sur Task et que le paramètre Billing Method est défini sur Pay-as-you-go. La politique de réservation de ressources vous permet d'associer vos pools de capacité ECS privés. Réservez des ressources via la console ECS. Pour plus d'informations, consultez la rubrique Présentation de Resource Butler. Public Pool Only (par défaut) : Les demandes de ressources sont satisfaites directement à partir des pools de ressources publics. Private Pool First : La priorité est donnée au provisionnement d'instances ECS depuis votre pool privé. Si les ressources de votre pool privé sont insuffisantes, le système bascule automatiquement vers le pool public. Specified Private Pool : Spécifie un pool ECS privé dédié au cluster E-MapReduce actuel.
   Automatic Compensation	Remarque Ce paramètre n'est disponible que lorsque le paramètre Node Group Type est défini sur Task. Si cette fonctionnalité est activée, E-MapReduce surveille l'état de santé des nœuds du groupe. En cas de détection de nœuds défectueux, E-MapReduce les libère et crée un nombre équivalent de nœuds de remplacement. Pour plus d'informations, consultez la rubrique Compensation des nœuds.
   Scaling Policy	Remarque Ce paramètre ne peut être configuré que si le paramètre Billing Method est défini sur Spot Instance. Priority-based Policy (par défaut) Le système tente de créer une instance en essayant chaque type d'instance spécifié dans l'ordre, jusqu'à ce qu'une création aboutisse. Le type d'instance finalement acheté peut varier selon la disponibilité du stock. Cost Optimization Policy Lors d'un scale-out, l'Auto Scaling tente de créer des instances ECS par ordre croissant de prix unitaire par vCPU. Lors d'un scale-in, il supprime les instances ECS par ordre décroissant de prix unitaire par vCPU. Si le mode de facturation de la configuration de mise à l'échelle est défini sur instance spot, le système privilégie la création d'instances spot. Si la création d'instances spot des types spécifiés échoue en raison de contraintes de stock ou autres, le système tente automatiquement de créer des instances de type paiement à l'utilisation. Pour plus d'informations, consultez la section Mode d'optimisation des coûts.
   Graceful Shutdown	Remarque Ce paramètre n'est disponible que pour les clusters sur lesquels le service YARN est déployé. Si cette option est activée, lors d'un scale-in du groupe de nœuds, le système attend la fin des tâches en cours sur un nœud ou l'écoulement d'un délai d'attente spécifié avant de le supprimer. Vous pouvez modifier le délai d'attente de l'arrêt gracieux en configurant le paramètre yarn.resourcemanager.nodemanager-graceful-decommission-timeout-secs sur la page du service YARN.
   Add to Deployment Set	Remarque Ce paramètre est disponible pour les groupes de nœuds Core, Gateway et Master-Extend. Cette fonctionnalité est désactivée par défaut. Si vous l'activez, les instances ECS sont déployées sur des serveurs physiques distincts afin de garantir une haute disponibilité. Pour plus d'informations, consultez la rubrique Activer un ensemble de déploiement.
   Custom Software Configuration	Cette fonctionnalité est désactivée par défaut. Si vous l'activez, vous pouvez fournir un fichier de configuration JSON pour ajouter des paramètres au niveau du groupe de nœuds pour les services lors de la création du groupe. Pour plus d'informations, consultez la rubrique Configurer un logiciel personnalisé.

   Si vous ne spécifiez pas les paramètres Minimum Pay-As-You-Go Nodes, Percentage of Pay-As-You-Go Nodes ni Lowest-Cost Instance Types, le groupe de machines fonctionne comme un groupe de mise à l'échelle d'optimisation des coûts général. Si vous renseignez ces paramètres, il devient un groupe de mise à l'échelle d'optimisation des coûts à instances mixtes. Ces deux types de groupes d'optimisation des coûts sont entièrement compatibles entre eux, tant au niveau des interfaces que des fonctionnalités.

   Vous pouvez obtenir le même résultat qu'avec un groupe d'optimisation des coûts général spécifique en configurant correctement les politiques d'instances mixtes au sein d'un groupe d'optimisation des coûts à instances mixtes. Exemples :

   • Dans un groupe d'optimisation des coûts général, seules des instances de type paiement à l'utilisation sont créées.

     Dans votre groupe d'optimisation des coûts à instances mixtes, définissez Minimum Pay-As-You-Go Nodes sur 0, Percentage of Pay-As-You-Go Nodes sur 100 et Lowest-Cost Instance Types sur 1.

   • Dans un groupe d'optimisation des coûts général, la création d'instances préemptibles est privilégiée.

     Dans votre groupe d'optimisation des coûts à instances mixtes, définissez Minimum Pay-As-You-Go Nodes sur 0, Percentage of Pay-As-You-Go Nodes sur 0 et Lowest-Cost Instance Types sur 1.

4. Cliquez sur OK.

   Une fois le groupe de nœuds ajouté, vous pouvez le consulter sur la page Nodes.

Modifier un groupe de nœuds

1. Sur la page Nodes, cliquez sur le nom du groupe de nœuds cible dans la colonne Node Group Name.

2. Dans la boîte de dialogue Node Group Attributes, modifiez les paramètres du groupe de nœuds, puis cliquez sur Save.

   • Pour les groupes de nœuds Master, Core, Gateway et Master-Extend, vous pouvez modifier le nom du groupe de nœuds et les groupes de sécurité supplémentaires.

   • Pour les groupes de nœuds Task, vous pouvez modifier diverses informations, telles que le nom du groupe, les spécifications des nœuds et les groupes de sécurité supplémentaires. Vous pouvez également ajuster les paramètres de la section Advanced Information.

Supprimer un groupe de nœuds

1. Sur la page Nodes, repérez le groupe de nœuds cible et cliquez sur Delete Node Group dans la colonne Actions.

2. Dans la boîte de dialogue de confirmation qui s'affiche, cliquez sur Delete.

Mode d'optimisation des coûts

Ce mode vous permet de définir des politiques de contrôle des coûts plus détaillées afin d'équilibrer économies et stabilité.

Rubriques connexes

• Pour effectuer un scale-out d'un groupe de nœuds, consultez la rubrique Effectuer un scale-out d'un cluster.

• Pour effectuer un scale-in d'un groupe de nœuds, consultez la rubrique Effectuer un scale-in d'un cluster.

• Pour augmenter la capacité du disque, consultez la rubrique Étendre un disque.

• Pour configurer des politiques Auto Scaling, consultez la rubrique Créer une politique Auto Scaling personnalisée.

• Pour afficher les activités Auto Scaling, consultez la rubrique Afficher les activités Auto Scaling.