Gérez toujours votre cluster E-MapReduce (EMR) via la console EMR. Toute opération effectuée directement dans la console Elastic Compute Service (ECS) ou via l'API ECS peut entraîner une instabilité du cluster, une perte de données ou rendre le cluster irrécupérable.
Si vous effectuez l'une des opérations interdites listées ci-dessous, vous assumez l'entière responsabilité des conséquences qui en découlent.
Opérations à éviter dans la console ECS
Les opérations suivantes contournent la gestion interne de l'état par EMR. Leur exécution provoque les problèmes décrits ci-après.
Les opérations présentant un risque de perte de données peuvent entraîner une perte définitive et irrécupérable. Anticipez l'architecture de votre cluster lors de sa création pour éviter d'avoir à recourir à ces manipulations.
| Opération | Conséquences | Alternative |
|---|---|---|
Suppression ou modification du fichier etc/hosts |
EMR ne parvient plus à résoudre les endpoints des services sur les nœuds du cluster, ce qui génère des exceptions de service. | Ajoutez des entrées au fichier hosts au lieu de modifier ou de supprimer celles qui existent déjà. |
| Modification des fichiers de configuration des composants via la console ECS | Au redémarrage du service concerné, EMR écrase les modifications apportées. | Modifiez les paramètres des composants directement dans la console EMR. |
| Redéploiement d'instances ECS via la console ECS ou l'API ECS | Interruption du service EMR. | Aucune |
| Association de disques aux nœuds du cluster via la console ECS ou l'API ECS | EMR ne peut ni reconnaître ni initialiser les disques associés, les rendant inutilisables. | Prévoyez la capacité de stockage nécessaire lors de la création du cluster. |
| Détachement de disques des nœuds du cluster via la console ECS ou l'API ECS | Risque de perte de données. EMR n'est pas informé du détachement et les données stockées sur le disque risquent d'être perdues. | Prévoyez la capacité de stockage nécessaire lors de la création du cluster. |
| Suppression de nœuds core via la console ECS ou l'API ECS | Risque de perte de données. Les tâches en cours d'exécution sur les nœuds supprimés échouent et les données qu'ils contiennent sont perdues. | Mettez le cluster à l'échelle via la console EMR. |
| Suppression de nœuds master via la console ECS ou l'API ECS | Risque de perte de données. Pour les clusters haute disponibilité (HA) : le basculement HDFS NameNode HA, YARN ResourceManager ou HBase HMaster échoue ; vous devez acheter un nouveau cluster pour récupérer le service. Pour les clusters non-HA : le cluster devient définitivement indisponible sans possibilité de migration. | Ne supprimez pas les nœuds master. Si une reconfiguration s'impose, achetez un nouveau cluster. |
| Suppression de nœuds task via la console ECS ou l'API ECS | Échec immédiat des jobs exécutés sur les nœuds supprimés. | Supprimez les nœuds task via la console EMR. |
| Arrêt du service MySQL sur le nœud master (type MySQL intégré) | L'instance MySQL sur master-1-1 héberge Hive MetaStore, Oozie et Ranger. Son arrêt coupe l'accès de ces composants à leur base de données de métadonnées. |
N'arrêtez pas le service MySQL intégré. |
Modification du mot de passe root MySQL sur master-1-1 (type MySQL intégré) |
Des composants tels que Hue ou Ranger perdent l'accès à MySQL et cessent de fonctionner. | Ne modifiez pas le mot de passe root de l'instance MySQL intégrée. |
| Modification du groupe de sécurité, du VPC ou du vSwitch des instances ECS via la console ECS ou l'API ECS | Rupture de la connectivité réseau entre les nœuds et indisponibilité des composants du cluster. | Configurez le réseau avant de créer le cluster. Contactez le support si des changements s'avèrent nécessaires après la création. |
| Modification de la méthode de facturation via la console ECS ou l'API ECS | La modification de la méthode de facturation est irréversible. | Modifiez la méthode de facturation dans la console EMR. Le passage du paiement à l'utilisation à l'abonnement est pris en charge ; l'inverse ne l'est pas. Consultez la rubrique Passer du paiement à l'utilisation à l'abonnement. |
| Suppression des répertoires liés à l'agent EMR | Le cluster cesse de fonctionner correctement. | Ne supprimez pas les répertoires de l'agent. Contactez le support si vous devez résoudre des problèmes liés à l'agent. |
Questions fréquentes sur la capacité et la configuration
Mon cluster manque d'espace disque.
Augmentez la capacité d'un disque existant ou ajoutez des nœuds core via la console EMR. L'ajout de disques n'est pas pris en charge sur les clusters EMR.
Je dispose d'une capacité disque excessive et souhaite la réduire.
Achetez un nouveau cluster dimensionné selon vos besoins réels, puis libérez le cluster d'origine. Consultez la rubrique Créer un cluster. La réduction de la capacité des disques n'est pas prise en charge sur les clusters EMR.
Mon cluster manque de puissance de calcul.
Ajoutez des nœuds task via la console EMR. Consultez la rubrique Mettre à l'échelle un cluster.
Je dispose d'une puissance de calcul excessive et souhaite réduire la taille du cluster.
La démarche varie selon votre méthode de facturation :
Paiement à l'utilisation : supprimez les nœuds task via la console EMR.
Abonnement : arrêtez le YARN NodeManager sur le nœud task cible, basculez la méthode de facturation de cette instance ECS vers le paiement à l'utilisation dans la console ECS, puis libérez l'instance.
Mon cluster exécute des versions obsolètes de composants.
Achetez un nouveau cluster avec la version requise. Consultez la rubrique Créer un cluster. La mise à niveau de composants individuels sur un cluster en cours d'exécution n'est pas prise en charge.
Je souhaite convertir un cluster non-HA en cluster HA.
La conversion d'un cluster non-HA en cluster HA est impossible. Si la haute disponibilité est requise, achetez un cluster HA dès le départ.
Je dois exécuter des logiciels ou des services tiers sur EMR.
Utilisez des actions d'amorçage (bootstrap actions) pour installer des logiciels tiers lors de la création du cluster. Si vous installez des logiciels manuellement après la création du cluster, vous devrez les réinstaller à chaque ajout de nœuds.