E-MapReduce:Gérer les groupes de nœuds

Informations générales

Le groupe de nœuds est l'unité centrale de gestion des nœuds de cluster dans E-MapReduce. Il se compose généralement d'instances ECS du même type. Les opérations sur un groupe de nœuds permettent de gérer en masse les nœuds qu'il contient. Vous pouvez également créer des groupes de nœuds avec différentes spécifications d'instance selon vos besoins métier. Par exemple, utilisez des instances optimisées pour la mémoire (ratio vCPU/mémoire de 1 vCPU pour 8 GiB) pour le traitement hors ligne du big data, et des instances optimisées pour le calcul (ratio vCPU/mémoire de 1 vCPU pour 2 GiB) pour l'entraînement de modèles.

Pour plus d'informations sur la gestion des groupes de nœuds dans les clusters Hadoop, Data Science et EMR Studio, consultez la rubrique Gérer les groupes de nœuds (clusters Hadoop, Data Science et EMR Studio).

Limites

• Les opérations décrites dans cette rubrique s'appliquent uniquement aux clusters DataLake, DataFlow, OLAP, DataServing et Custom.

• Vous ne pouvez pas effectuer une Upgrade Configuration sur les groupes de nœuds Task dont la Billing Method est définie sur Pay-as-you-go ou Preemptible Instance.

  Pour savoir comment mettre à niveau les configurations des nœuds, consultez la rubrique Mettre à niveau les configurations des nœuds.

Ajouter un groupe de nœuds

1. Accédez à la page de gestion des nœuds.

   1. Connectez-vous à la console EMR.

   2. Dans la barre de navigation supérieure, sélectionnez une région et un groupe de ressources selon vos besoins.

   3. Dans la colonne Actions du cluster cible, cliquez sur Nodes.

2. Sur la page Nodes, cliquez sur Add Node Group.

3. Dans le volet Add Node Group, configurez les paramètres suivants.

   Paramètre	Description
   Zone	La zone où se trouve le cluster est affichée par défaut. Cliquez sur View Zones pour sélectionner une autre zone dans la même région. Vous pouvez ajouter des groupes de nœuds Task uniquement dans d'autres zones. Après avoir ajouté un groupe de nœuds interzones, nous vous recommandons d'utiliser la fonctionnalité YARN Node Labels pour partitionner le cluster. Cette approche minimise l'impact d'une bande passante réseau instable sur l'efficacité des tâches, en particulier pendant le processus de shuffle. Pour plus d'informations, consultez Utiliser les libellés de nœud pour le partitionnement des nœuds.
   Node Group Type	Vous pouvez ajouter les types de groupes de nœuds suivants : Core : un groupe de nœuds Core. Adapté aux cas d'utilisation impliquant de petits volumes de données, tels que l'analyse des journaux et les statistiques du trafic web. Task : un groupe de nœuds de calcul. Adapté aux cas d'utilisation nécessitant des ressources de calcul temporaires, comme le traitement par lots et le nettoyage des données. Gateway : un groupe de nœuds de tâche. Cette option est disponible uniquement pour les clusters DataLake et DataFlow exécutant EMR-5.10.1 ou version ultérieure, ainsi que pour les clusters Custom exécutant EMR-5.17.1 ou version ultérieure. Elle convient aux cas d'utilisation nécessitant des soumissions fréquentes de tâches, telles que l'entraînement de modèles par les data scientists et le traitement des données par les ingénieurs données. Master-Extend : un groupe d'extension de charge. Cette option est disponible uniquement pour les clusters haute disponibilité exécutant EMR-3.51.1 ou version ultérieure, ou EMR-5.17.1 ou version ultérieure. Si le nœud master d'un cluster subit une charge élevée, ajoutez un groupe de nœuds Master-Extend et déployez les services sur différents groupes de nœuds afin de réduire la charge sur le nœud master. Cela convient aux cas d'utilisation impliquant des clusters à grande échelle avec des charges élevées sur les nœuds masters. Remarque Par défaut, les services ne sont pas déployés sur un groupe de nœuds Master-Extend. Vous devez sélectionner les services à déployer sur ce groupe lors de sa création.
   Billing Method	Le mode de facturation du groupe de nœuds. Les modes pris en charge sont le paiement à l'utilisation, les instances spot et l'abonnement. Remarque Seuls les groupes de nœuds Task prennent en charge les instances spot.
   Node Group Name	Les noms des groupes de nœuds doivent être uniques au sein du cluster.
   Components	Seuls les groupes de nœuds Master-Extend prennent en charge le déploiement personnalisé des services. Les services suivants peuvent être déployés : Hive : HiveMetaStore, HiveServer Kyuubi : KyuubiServer Spark : SparkHistoryServer, SparkThriftServer
   Assign Public Network IP	Indique si des adresses IP publiques doivent être attribuées aux nœuds du groupe. Si vous activez cette option, tous les nœuds du groupe reçoivent une adresse IP publique.
   vSwitch	Spécifiez un vSwitch au sein du même VPC lors de la création d'un groupe de nœuds. Ce paramètre ne peut pas être modifié après la création du groupe. Remarque Le vSwitch doit se trouver dans la même zone que le cluster.
   Additional Security Group	(Facultatif) Attribuez des groupes de sécurité supplémentaires au groupe de nœuds. Un groupe de nœuds peut comporter jusqu'à quatre groupes de sécurité supplémentaires.
   Instance Type	Sélectionnez un type d'instance en fonction de vos besoins. Si le mode de facturation est l'abonnement, vous ne pouvez sélectionner qu'un seul type d'instance. Si le mode de facturation est le paiement à l'utilisation ou les instances spot et que le type de groupe de nœuds est Task, vous pouvez sélectionner jusqu'à 10 types d'instance alternatifs ayant les mêmes spécifications vCPU et mémoire. La spécification minimale d'instance pour un groupe de nœuds Task (groupe de nœuds élastique) est de 4 vCPU et 8 GiB de mémoire. Vous ne pouvez pas sélectionner un type d'instance avec des spécifications inférieures. Les catégories d'instances incluent les instances à usage général, optimisées pour la mémoire, avec SSD local et d'autres types d'instances. Le type d'instance à usage général minimal est ecs.g7.xlarge (4 vCPU et 16 GiB de mémoire), et le type d'instance minimal dans la catégorie Autre est ecs.u1-c1m2.xlarge (4 vCPU et 8 GiB de mémoire).
   Storage Configuration	System Disk : sélectionnez un disque ESSD ou un disque Ultra en fonction de vos besoins. La taille du disque système peut varier de 60 à 500 GiB. Nous recommandons une taille d'au moins 120 GiB. Data Disk : sélectionnez un disque ESSD ou un disque Ultra en fonction de vos besoins. La taille du disque de données peut varier de 40 à 32 768 GiB. Nous recommandons une taille d'au moins 80 GiB. Remarque Si vous sélectionnez des disques SSD améliorés, vous pouvez spécifier différents niveaux de performance (PL) pour ces disques en fonction de leur capacité afin de répondre aux exigences de performance variées du cluster. Le niveau de performance par défaut est PL1. Lors de la configuration du disque système, vous pouvez sélectionner un disque SSD amélioré avec les niveaux de performance suivants : PL0, PL1 et PL2. Lors de la configuration des disques de données, vous pouvez sélectionner des disques SSD améliorés avec les niveaux de performance suivants : PL0, PL1, PL2 et PL3. Pour plus d'informations, consultez Disques.
   Resource Reservation Policy	Remarque Ce paramètre est disponible uniquement lorsque Node Group Type est défini sur Task et que Billing Method est défini sur Pay-as-you-go. La politique de réservation de ressources vous permet d'associer vos pools de capacité ECS privés. Accédez à la console ECS pour réserver des ressources. Pour plus d'informations, consultez Présentation de Resource Butler. Public Pool Only (par défaut) : satisfait les demandes de ressources directement à partir des pools de ressources publics. Private Pool First : privilégie le provisionnement d'instances ECS à partir de votre pool privé. Si votre pool privé ne dispose pas de ressources suffisantes, le système bascule vers le pool public. Specified Private Pool : spécifie un pool ECS privé pour le cluster E-MapReduce actuel.
   Automatic Compensation	Remarque Ce paramètre est disponible uniquement lorsque Node Group Type est défini sur Task. Si cette fonctionnalité est activée, E-MapReduce surveille l'état de santé des nœuds du groupe. Si certains nœuds deviennent non sains, E-MapReduce les libère et crée un nombre équivalent de nœuds de remplacement. Pour plus d'informations, consultez Compensation des nœuds.
   Scaling Policy	Remarque Ce paramètre ne peut être configuré que lorsque Billing Method est défini sur Spot Instance. Priority-based Policy (par défaut) Le système tente de créer une instance en essayant chaque type d'instance spécifié dans l'ordre jusqu'à ce que l'une d'elles soit créée avec succès. Le type d'instance final acheté peut varier en fonction de l'inventaire. Cost Optimization Policy Lors d'une mise à l'échelle horizontale (scale-out), Auto Scaling tente de créer des instances ECS par ordre croissant de prix unitaire par vCPU. Lors d'une réduction (scale-in), il supprime les instances ECS par ordre décroissant de prix unitaire par vCPU. Si le mode de facturation de la configuration de mise à l'échelle est défini sur instance spot, le système privilégie la création d'instances spot. Si les instances spot des types spécifiés ne peuvent pas être créées en raison de l'inventaire ou d'autres raisons, le système tente automatiquement de créer des instances de paiement à l'utilisation à la place. Pour plus d'informations, consultez Mode d'optimisation des coûts.
   Graceful Shutdown	Remarque Ce paramètre est disponible uniquement pour les clusters où le service YARN est déployé. Si cette option est activée, lors d'une réduction du groupe de nœuds (scale-in), le système attend que les tâches sur un nœud soient terminées ou qu'un délai d'attente spécifié soit écoulé avant de supprimer le nœud. Vous pouvez modifier le délai d'arrêt gracieux en configurant le paramètre yarn.resourcemanager.nodemanager-graceful-decommission-timeout-secs sur la page du service YARN.
   Add to Deployment Set	Remarque Ce paramètre est disponible pour les groupes de nœuds Core, Gateway et Master-Extend. Cette fonctionnalité est désactivée par défaut. Si vous l'activez, les instances ECS sont déployées sur différents serveurs physiques pour garantir une haute disponibilité. Pour plus d'informations, consultez Activer un ensemble de déploiement.
   Custom Software Configuration	Cette fonctionnalité est désactivée par défaut. Si vous l'activez, vous pouvez fournir un fichier de configuration JSON pour ajouter des paramètres au niveau du groupe de nœuds pour les services lors de la création du groupe. Pour plus d'informations, consultez Configurer un logiciel personnalisé.

   Si vous ne spécifiez pas les paramètres Minimum Pay-As-You-Go Nodes, Percentage of Pay-As-You-Go Nodes ou Lowest-Cost Instance Types, le groupe de machines est un groupe de mise à l'échelle d'optimisation des coûts général. Si vous spécifiez ces paramètres, le groupe de machines est un groupe de mise à l'échelle d'optimisation des coûts à instances mixtes. Ces deux types de groupes de mise à l'échelle d'optimisation des coûts sont entièrement compatibles entre eux en termes d'interfaces et de fonctionnalités.

   Vous pouvez utiliser un groupe de mise à l'échelle d'optimisation des coûts à instances mixtes pour obtenir le même effet qu'un groupe d'optimisation des coûts général spécifique en configurant des politiques d'instances mixtes appropriées. Exemples :

   • Dans un groupe de mise à l'échelle d'optimisation des coûts général, seules les instances de paiement à l'utilisation sont créées.

     Dans votre groupe de mise à l'échelle d'optimisation des coûts à instances mixtes, définissez Minimum Pay-As-You-Go Nodes sur 0, Percentage of Pay-As-You-Go Nodes sur 100 et Lowest-Cost Instance Types sur 1.

   • Dans un groupe de mise à l'échelle d'optimisation des coûts général, les instances préemptibles sont créées en priorité.

     Dans votre groupe de mise à l'échelle d'optimisation des coûts à instances mixtes, définissez Minimum Pay-As-You-Go Nodes sur 0, Percentage of Pay-As-You-Go Nodes sur 0 et Lowest-Cost Instance Types sur 1.

4. Cliquez sur OK.

   Une fois le groupe de nœuds ajouté, vous pouvez le consulter sur la page Nodes.

Modifier un groupe de nœuds

1. Sur la page Nodes, cliquez sur le nom du groupe de nœuds cible dans la colonne Node Group Name.

2. Dans la boîte de dialogue Node Group Attributes, modifiez les paramètres du groupe de nœuds et cliquez sur Save.

   • Pour les groupes de nœuds Master, Core, Gateway et Master-Extend, vous pouvez modifier le nom du groupe de nœuds et les groupes de sécurité supplémentaires.

   • Pour les groupes de nœuds Task, vous pouvez modifier des informations telles que le nom du groupe de nœuds, les spécifications des nœuds et les groupes de sécurité supplémentaires. Vous pouvez également ajuster les paramètres dans la section Advanced Information.

Supprimer un groupe de nœuds

1. Sur la page Nodes, repérez le groupe de nœuds cible et cliquez sur Delete Node Group dans la colonne Actions.

2. Dans la boîte de dialogue de confirmation qui s'affiche, cliquez sur Delete.

Mode d'optimisation des coûts

Ce mode vous permet de définir des politiques de contrôle des coûts plus détaillées afin d'équilibrer coût et stabilité.

Rubriques connexes

• Pour mettre à l'échelle horizontalement un groupe de nœuds, consultez la rubrique Mettre à l'échelle horizontalement un cluster.

• Pour réduire l'échelle d'un groupe de nœuds, consultez la rubrique Réduire l'échelle d'un cluster.

• Pour augmenter la capacité du disque, consultez la rubrique Augmenter la capacité d'un disque.

• Pour configurer des politiques Auto Scaling, consultez la rubrique Créer une politique Auto Scaling personnalisée.

• Pour afficher les activités Auto Scaling, consultez la rubrique Afficher les activités Auto Scaling.