Auto scaling - E-MapReduce: Central de Documentação do Alibaba Cloud

O Auto Scaling ajusta automaticamente o número de nós no cluster E-MapReduce (EMR) conforme as necessidades do negócio e as políticas de dimensionamento. Assim, a capacidade de computação do cluster EMR se adapta automaticamente. Adicione regras de auto scaling gerenciadas ou personalizadas a um grupo de nós. Quando o volume de dados do negócio aumenta, o sistema adiciona nós ao grupo para garantir a capacidade de computação. Quando o volume diminui, remove uma quantidade específica de nós do grupo para reduzir custos.

Comparação entre auto scaling gerenciado e personalizado

Item

Auto scaling gerenciado

Auto scaling personalizado

Regra de auto scaling

O auto scaling é executado em clusters EMR com base na avaliação contínua dos recursos nos clusters. Não é necessário configurar regras manualmente.

Configure regras de auto scaling personalizadas, como regras baseadas em tempo ou carga.

Versões do EMR compatíveis

EMR V3.43.0, EMR V5.9.0 e versões menores posteriores ao EMR V3.43.0 e EMR V5.9.0.

EMR V3.42.0, EMR V5.8.0 e versões menores posteriores ao EMR V3.42.0 e EMR V5.8.0.

Granularidade do dimensionamento

Nível de cluster e seleção inteligente de grupos de nós.

Nível de grupo de nós.

Frequência de coleta de métricas

5 segundos.

30 segundos.

Frequência de monitoramento

5 a 10 segundos.

30 segundos.

Baseado em métricas personalizadas

Não.

Sim.

Cenários

Use o auto scaling nos cenários a seguir para reduzir custos e melhorar a eficiência da execução de tarefas:

A curva de carga de computação do negócio apresenta picos e vales notáveis. Nesse caso, adicione regras de auto scaling gerenciado ou regras de dimensionamento baseadas em carga.
Necessidade de adicionar nós em horários agendados para complementar temporariamente a capacidade de computação. Para isso, adicione regras de dimensionamento baseadas em tempo.

Limites

Tipo de cluster	Limite
Clusters DataLake, Dataflow, processamento analítico online (OLAP) e personalizados	Somente grupos de nós de tarefa que contêm instâncias preemptíveis ou instâncias de pagamento conforme o uso oferecem suporte ao auto scaling.
Clusters Hadoop	Somente grupos de nós de tarefa que contêm instâncias preemptíveis ou instâncias de pagamento conforme o uso oferecem suporte ao auto scaling. Crie um grupo de auto scaling. Grupos de auto scaling não oferecem suporte a dimensionamento manual. Ative apenas um grupo de auto scaling. Não ative simultaneamente o dimensionamento baseado em tempo e o dimensionamento baseado em carga para o mesmo grupo de nós.

Observações de uso

Tipo de cluster	Referências
Clusters DataLake, Dataflow, OLAP e personalizados	Create a managed auto scaling policy Add custom auto scaling rules View auto scaling activities Auto Scaling Cost Analysis View cluster resource overview
Clusters Hadoop	Configure auto scaling (Hadoop clusters only) Enable or disable auto scaling (Hadoop clusters) View scaling records (Hadoop clusters only)