Auto scaling - E-MapReduce: Central de Documentação do Alibaba Cloud

O Auto Scaling ajusta automaticamente o número de nós no cluster E-MapReduce (EMR) com base nas necessidades do negócio e nas políticas de dimensionamento. Assim, a capacidade de computação do cluster EMR se adapta automaticamente à demanda. Adicione regras de auto scaling gerenciadas ou personalizadas a um grupo de nós. Quando o volume de dados aumenta, o sistema adiciona nós ao grupo para garantir a capacidade de computação necessária. Quando o volume diminui, remove nós específicos do grupo para reduzir custos.

Comparação entre auto scaling gerenciado e personalizado

Item	Auto scaling gerenciado	Auto scaling personalizado
Regra de auto scaling	O dimensionamento dos clusters EMR ocorre mediante avaliação contínua dos recursos disponíveis, sem necessidade de configuração manual de regras.	Configure regras personalizadas de auto scaling, como as baseadas em tempo ou em carga.
Versões do EMR compatíveis	EMR V3.43.0, EMR V5.9.0 e versões posteriores a essas.	EMR V3.42.0, EMR V5.8.0 e versões posteriores a essas.
Granularidade do dimensionamento	Nível de cluster com seleção inteligente de grupos de nós.	Nível de grupo de nós.
Frequência de coleta de métricas	5 segundos.	30 segundos.
Frequência de monitoramento	5 a 10 segundos.	30 segundos.
Baseado em métricas personalizadas	Não.	Sim.

Cenários

Use o auto scaling nos cenários abaixo para reduzir custos e aumentar a eficiência na execução de tarefas:

A curva de carga de computação do negócio apresenta picos e vales bem definidos. Nesse caso, adicione regras de auto scaling gerenciado ou regras baseadas em carga.
Necessidade de adicionar nós em horários agendados para complementar temporariamente a capacidade de computação. Para isso, configure regras de dimensionamento baseadas em tempo.

Limites

Tipo de cluster	Limite
Clusters DataLake, Dataflow, processamento analítico online (OLAP) e personalizados	Somente grupos de nós de tarefa com instâncias preemptíveis ou de pagamento conforme o uso oferecem suporte ao auto scaling.
Clusters Hadoop	Apenas grupos de nós de tarefa com instâncias preemptíveis ou de pagamento conforme o uso oferecem suporte ao auto scaling. Crie um grupo de auto scaling. Esses grupos não permitem dimensionamento manual. Ative somente um grupo de auto scaling por vez. Não ative simultaneamente o dimensionamento baseado em tempo e o baseado em carga para o mesmo grupo de nós.

Observações de uso

Tipo de cluster	Referências
Clusters DataLake, Dataflow, OLAP e personalizados	Criar uma política de auto scaling gerenciado Adicionar regras de auto scaling personalizado Visualizar atividades de auto scaling Análise de custos do Auto Scaling Visualizar visão geral dos recursos do cluster
Clusters Hadoop	Configurar auto scaling (apenas clusters Hadoop) Ativar ou desativar auto scaling (clusters Hadoop) Visualizar registros de dimensionamento (apenas clusters Hadoop)