L'Auto Scaling ajuste dynamiquement le nombre de nœuds dans votre cluster E-MapReduce (EMR) en fonction de vos besoins métier et des politiques de mise à l'échelle définies. Ainsi, les capacités de calcul de votre cluster EMR s'adaptent automatiquement. Vous pouvez ajouter des règles d'Auto Scaling gérées ou personnalisées pour un groupe de nœuds. Lorsque le volume de vos données métier augmente, des nœuds supplémentaires sont ajoutés au groupe pour garantir les performances de calcul. À l'inverse, lorsque ce volume diminue, certains nœuds sont retirés du groupe afin de réduire les coûts.
Comparaison entre l'Auto Scaling géré et l'Auto Scaling personnalisé
|
Élément |
Auto Scaling géré |
Auto Scaling personnalisé |
|
Règle d'Auto Scaling |
L'Auto Scaling s'applique aux clusters EMR grâce à une évaluation continue des ressources du cluster. Aucune configuration manuelle des règles n'est requise. |
Vous devez configurer des règles d'Auto Scaling personnalisées, telles que des règles basées sur le temps ou sur la charge. |
|
Versions EMR prises en charge |
EMR V3.43.0, EMR V5.9.0 et les versions mineures ultérieures à EMR V3.43.0 et EMR V5.9.0. |
EMR V3.42.0, EMR V5.8.0 et les versions mineures ultérieures à EMR V3.42.0 et EMR V5.8.0. |
|
Granularité de la mise à l'échelle |
Niveau du cluster et sélection intelligente des groupes de nœuds. |
Niveau du groupe de nœuds. |
|
Fréquence de collecte des métriques |
5 secondes. |
30 secondes. |
|
Fréquence de surveillance |
5 à 10 secondes. |
30 secondes. |
|
Basé sur des métriques personnalisées |
Non. |
Oui. |
Scénarios
Recourez à l'Auto Scaling dans les scénarios suivants pour réduire les coûts et améliorer l'efficacité d'exécution des tâches :
La courbe de charge de calcul de votre activité présente des pics et des creux marqués. Dans ce cas, ajoutez des règles d'Auto Scaling géré ou des règles basées sur la charge.
Vous devez ajouter des nœuds à un moment précis pour renforcer temporairement les capacités de calcul. Dans ce cas, ajoutez des règles de mise à l'échelle basées sur le temps.
Limites
Type de cluster | Limite |
Clusters DataLake, Dataflow, OLAP (traitement analytique en ligne) et personnalisés | Seuls les groupes de nœuds de tâche contenant des instances préemptibles ou des instances à la demande prennent en charge l'Auto Scaling. |
Clusters Hadoop |
|
Notes d'utilisation
Type de cluster | Références |
Clusters DataLake, Dataflow, OLAP et personnalisés | |
Clusters Hadoop |