Créer une politique de mise à l'échelle automatique gérée -

La mise à l'échelle automatique gérée vous permet de définir le nombre minimal et maximal de nœuds de tâche. E-MapReduce (EMR) ajuste ensuite automatiquement le nombre de nœuds de tâche en fonction de votre charge de travail et optimise l'allocation des ressources sur la base des exécutions de tâches historiques. Cela garantit l'achèvement de vos tâches tout en maîtrisant les coûts.

Prérequis

Vous avez créé un cluster DataLake, Dataflow, OLAP, DataServing ou Custom. Pour plus d'informations, consultez la rubrique Créer un cluster.
Vous avez créé un groupe de nœuds de tâche utilisant des instances à paiement à l'utilisation ou préemptibles dans le cluster. Pour plus d'informations, consultez la section Créer un groupe de nœuds.

Limites

Pour réduire les échecs de mise à l'échelle horizontale dus à un inventaire ECS insuffisant, vous pouvez spécifier plusieurs types d'instance lors de la création d'un groupe de nœuds. Vous pouvez sélectionner jusqu'à 10 types d'instance ECS comme alternatives. Le système tente de provisionner les instances en commençant par le premier type de la liste. Si un type d'instance est indisponible, le système passe automatiquement au suivant jusqu'à ce que la demande soit satisfaite. Les types d'instance réellement achetés peuvent varier en fonction des changements d'inventaire.
Les règles de mise à l'échelle automatique gérée sont prises en charge uniquement sur les clusters où le service YARN est déployé.
Si les services Trino, Presto, StarRocks, Impala ou ClickHouse sont déployés dans le cluster, l'efficacité de la mise à l'échelle automatique gérée n'est pas garantie.

Notes

Le changement du mode de mise à l'échelle automatique invalide toutes les règles existantes. Procédez avec prudence.

Procédure

Méthode 1 : Pour un cluster existant

Une fois la mise à l'échelle automatique gérée activée, le système surveille en continu la charge YARN du cluster et analyse les variations historiques de la charge de pointe pour ajuster automatiquement le nombre de nœuds de tâche.

Accédez à la page Auto Scaling.
1. Connectez-vous à la console EMR on ECS.
2. Dans la barre de navigation supérieure, sélectionnez une région et un resource group selon vos besoins.
3. Cliquez sur le nom du cluster cible.
4. Sur la page qui s'affiche, cliquez sur l'onglet Auto Scaling.
Dans l'onglet Configure Auto Scaling, section Configure Auto Scaling Rule, cliquez sur Managed Auto Scaling Rule.
Configurez la règle de mise à l'échelle.
1. Dans la boîte de dialogue qui s'affiche, cliquez sur Reconfigure et configurez les paramètres suivants.
  - Minimum Number of Task Nodes : nombre minimal de nœuds de tâche à conserver dans le cluster lors d'une réduction de capacité.
  - Maximum Number of Task Nodes : nombre maximal de nœuds de tâche dans le cluster lors d'une augmentation de capacité.
  - Maximum Number of Pay-as-you-go Task Nodes : nombre maximal de nœuds à paiement à l'utilisation pouvant être ajoutés lors du déclenchement d'une augmentation de capacité. Ce paramètre définit la proportion de nœuds à paiement à l'utilisation par rapport aux instances préemptibles. Par défaut, il correspond à la valeur du nombre maximal de nœuds de tâche.
    
    Remarque
    Si le cluster dispose d'un groupe de nœuds de tâche composé d'instances préemptibles, la valeur de Maximum Number of Pay-as-you-go Task Nodes peut être inférieure à celle de Maximum Number of Task Nodes. Par exemple, si le nombre minimal de nœuds de tâche est défini sur 0, le nombre maximal de nœuds de tâche sur 20 et le nombre maximal de nœuds de tâche à paiement à l'utilisation sur 15, le système tente d'abord d'ajouter 15 nœuds à paiement à l'utilisation lors d'une augmentation de capacité. Si davantage de capacité est nécessaire, le système provisionne les nœuds restants à l'aide d'instances préemptibles.
2. Une fois la configuration terminée, cliquez sur Save and Apply.

Méthode 2 : Lors de la création du cluster

Connectez-vous à EMR on ECS.
Dans la barre de navigation supérieure, sélectionnez la région et le groupe de ressources requis.
Cliquez sur CREATE_CLUSTER. Pour plus d'informations sur les paramètres, consultez la rubrique Créer un cluster.

Remarque
Pour configurer les règles, vous devez d'abord ajouter un groupe de nœuds de tâche utilisant des instances à paiement à l'utilisation ou préemptibles.
Configurez l'option Cluster Scaling.
1. Sélectionnez l'option Managed Auto Scaling Rule.
2. Cliquez sur Managed Auto Scaling Rule à côté de Edit, configurez les paramètres, puis cliquez sur Save and Apply.
  - Minimum Number of Task Nodes : nombre minimal de nœuds de tâche à conserver dans le cluster lors d'une réduction de capacité.
  - Maximum Number of Task Nodes : nombre maximal de nœuds de tâche dans le cluster lors d'une augmentation de capacité.
  - Maximum Number of Pay-as-you-go Task Nodes : nombre maximal de nœuds à paiement à l'utilisation pouvant être ajoutés lors du déclenchement d'une augmentation de capacité. Ce paramètre définit la proportion de nœuds à paiement à l'utilisation par rapport aux instances préemptibles. Par défaut, il correspond à la valeur du nombre maximal de nœuds de tâche.
    
    Remarque
    Si le cluster dispose d'un groupe de nœuds de tâche composé d'instances préemptibles, la valeur de Maximum Number of Pay-as-you-go Task Nodes peut être inférieure à celle de Maximum Number of Task Nodes. Par exemple, si le nombre minimal de nœuds de tâche est défini sur 0, le nombre maximal de nœuds de tâche sur 20 et le nombre maximal de nœuds de tâche à paiement à l'utilisation sur 15, le système tente d'abord d'ajouter 15 nœuds à paiement à l'utilisation lors d'une augmentation de capacité. Si davantage de capacité est nécessaire, le système provisionne les nœuds restants à l'aide d'instances préemptibles.
Confirmez la commande et créez le cluster.