E-MapReduce:Gerencie grupos de nós

Informações básicas

O grupo de nós é a unidade central de gerenciamento de nós de cluster no E-MapReduce. Geralmente, um grupo de nós consiste em instâncias ECS do mesmo tipo. Execute operações no grupo de nós para gerencie seus nós em massa. Também é possível crie grupos de nós com diferentes especificações de instância conforme as necessidades do negócio. Por exemplo, use instâncias otimizadas para memória (proporção vCore/memória de 1 vCPU:8 GiB) para processamento offline de big data e instâncias otimizadas para computação (proporção vCore/memória de 1 vCPU:2 GiB) para treinamento de modelos.

Para obter informações sobre o gerenciamento de grupos de nós em clusters Hadoop, Data Science e EMR Studio, consulte Gerenciar grupos de nós (clusters Hadoop, Data Science e EMR Studio).

Limites

• As operações descritas neste tópico aplicam-se apenas aos clusters DataLake, DataFlow, OLAP, DataServing e Custom.

• Não é possível execute Upgrade Configuration em grupos de nós Task cujo Billing Method seja Pay-as-you-go ou Preemptible Instance.

  Para mais detalhes sobre como atualizar configurações de nós, consulte Atualizar configurações de nós.

Adicionar um grupo de nós

1. Acesse a página de gerenciamento de nós.

   1. Faça login no console do EMR.

   2. Na barra de navegação superior, selecione uma região e um grupo de recursos conforme necessário.

   3. Na coluna Actions do cluster desejado, clique em Nodes.

2. Na página Nodes, clique em Add Node Group.

3. No painel Add Node Group, configure os seguintes parâmetros.

   Parâmetro	Descrição
   Zone	A zona do cluster é exibida por padrão. Clique em View Zones para selecione outra zona na mesma região. É possível adicionar apenas grupos de nós Task em outras zonas. Após adicionar um grupo de nós entre zonas, recomendamos usar o recurso YARN Node Labels para particionar o cluster. Essa abordagem minimiza o impacto da instabilidade da largura de banda de rede na eficiência das tarefas, especialmente durante o processo de shuffle. Para mais informações, consulte Usar Node Labels para particionamento de nós.
   Node Group Type	Tipos de grupos de nós disponíveis para adição: Core: Grupo de nós principal. Adequado para casos de uso com pequenos volumes de dados, como análise de logs e estatísticas de tráfego de sites. Task: Grupo de nós de computação. Ideal para cenários que exigem recursos de computação temporários, como processamento em lote e limpeza de dados. Gateway: Grupo de nós de tarefa. Disponível apenas para clusters DataLake e DataFlow com EMR-5.10.1 ou posterior, e clusters Custom com EMR-5.17.1 ou posterior. Recomendado para casos de uso que requerem submissões frequentes de jobs, como treinamento de modelos por cientistas de dados e processamento de dados por engenheiros de dados. Master-Extend: Grupo de extensão de carga. Disponível somente para clusters de alta disponibilidade com EMR-3.51.1 ou posterior, ou EMR-5.17.1 ou posterior. Se o nó mestre de um cluster estiver sob alta carga, adicione um grupo de nós Master-Extend e implante serviços em diferentes grupos de nós para reduzir a carga no nó mestre. Isso é adequado para cenários envolvendo clusters de grande escala com altas cargas no nó mestre. Nota Por padrão, nenhum serviço é implantado em um grupo de nós Master-Extend. Selecione os serviços a serem implantados nesse grupo durante sua criação.
   Billing Method	Método de faturamento do grupo de nós. Os métodos suportados são pagamento conforme o uso, instância spot e assinatura. Nota Apenas grupos de nós Task suportam instâncias spot.
   Node Group Name	Os nomes dos grupos de nós devem ser exclusivos dentro do cluster.
   Components	Somente grupos de nós Master-Extend suportam implantação personalizada de serviços. Serviços disponíveis para implantação: Hive: HiveMetaStore, HiveServer Kyuubi: KyuubiServer Spark: SparkHistoryServer, SparkThriftServer
   Assign Public Network IP	Define se endereços IP públicos serão atribuídos aos nós do grupo. Ao ative esta opção, todos os nós do grupo recebem um endereço IP público.
   vSwitch	Especifique um vSwitch na mesma VPC ao crie um grupo de nós. Essa configuração não pode ser alterada após a criação do grupo. Nota O vSwitch deve estar na mesma zona do cluster.
   Additional Security Group	(Opcional) Atribua grupos de segurança adicionais ao grupo de nós. Um grupo de nós pode ter até quatro grupos de segurança adicionais.
   Instance Type	Selecione um tipo de instância conforme suas necessidades. Se o método de faturamento for assinatura, selecione apenas um tipo de instância. Caso o método de faturamento seja pagamento conforme o uso ou instância spot e o tipo de grupo de nós seja Task, selecione até 10 tipos de instância alternativos com as mesmas especificações de vCPU e memória.
   Storage Configuration	System Disk: Escolha entre ESSD ou Ultra Disk conforme necessário. O tamanho do disco de sistema pode variar de 60 a 500 GiB. Recomendamos pelo menos 120 GiB. Data Disk: Escolha entre ESSD ou Ultra Disk conforme necessário. O tamanho do disco de dados pode variar de 40 a 32.768 GiB. Recomendamos pelo menos 80 GiB. Nota Ao selecione SSDs aprimorados, especifique diferentes níveis de desempenho (PLs) com base na capacidade do disco para atender aos requisitos de desempenho do cluster. O nível de desempenho padrão é PL1. Ao configure o disco de sistema, escolha SSDs aprimorados nos níveis PL0, PL1 e PL2. Para discos de dados, selecione SSDs aprimorados nos níveis PL0, PL1, PL2 e PL3. Para mais informações, consulte Discos.
   Resource Reservation Policy	Nota Este parâmetro está disponível apenas quando Node Group Type está definido como Task e Billing Method está definido como Pay-as-you-go. A política de reserva de recursos permite associar pools privados de capacidade ECS. Acesse o console do ECS para reservar recursos. Para mais informações, consulte Visão geral do Resource Butler. Public Pool Only (padrão): Atende às solicitações de recursos diretamente dos pools públicos. Private Pool First: Prioriza o provisionamento de instâncias ECS do pool privado. Se houver recursos insuficientes no pool privado, o sistema recorre ao pool público. Specified Private Pool: Especifica um pool privado de ECS para o cluster E-MapReduce atual.
   Automatic Compensation	Nota Este parâmetro está disponível apenas quando Node Group Type está definido como Task. Quando este recurso está ativado, o E-MapReduce monitora a integridade dos nós no grupo. Se algum nó apresentar problemas, o E-MapReduce o libera e crie um número igual de nós substitutos. Para mais informações, consulte Compensação de nós.
   Scaling Policy	Nota Este parâmetro só pode ser configurado quando Billing Method estiver definido como Spot Instance. Priority-based Policy (padrão) O sistema tenta crie uma instância testando cada tipo especificado em ordem até obter sucesso. O tipo final adquirido pode variar dependendo do estoque disponível. Cost Optimization Policy Durante um scale-out, o Auto Scaling tenta crie instâncias ECS em ordem crescente de preço unitário da vCPU. Durante um scale-in, remove instâncias ECS em ordem decrescente de preço unitário da vCPU. Se o método de faturamento da configuração de dimensionamento for instância spot, o sistema prioriza a criação dessas instâncias. Caso não seja possível crie instâncias spot dos tipos especificados devido a estoque ou outros motivos, o sistema tentará automaticamente crie instâncias de pagamento conforme o uso. Para mais informações, consulte Modo de otimização de custos.
   Graceful Shutdown	Nota Este parâmetro está disponível apenas para clusters onde o serviço YARN está implantado. Quando ativado, durante um scale-in do grupo de nós, o sistema aguarda a conclusão das tarefas em um nó ou o término de um tempo limite especificado antes de removê-lo. Modifique o tempo limite de desligamento gracioso configure o parâmetro yarn.resourcemanager.nodemanager-graceful-decommission-timeout-secs na página de serviço do YARN.
   Add to Deployment Set	Nota Este parâmetro está disponível para grupos de nós Core, Gateway e Master-Extend. Recurso desativado por padrão. Ao ativá-lo, as instâncias ECS são implantadas em servidores físicos diferentes para garantir alta disponibilidade. Para mais informações, consulte Ativar um conjunto de implantação.
   Custom Software Configuration	Recurso desativado por padrão. Ao ativá-lo, forneça um arquivo de configuração JSON para adicionar parâmetros no nível do grupo de nós aos serviços durante a criação. Para mais informações, consulte Configurar software personalizado.

   Se você não especifique os parâmetros Minimum Pay-As-You-Go Nodes, Percentage of Pay-As-You-Go Nodes ou Lowest-Cost Instance Types, o grupo de máquinas será um grupo de dimensionamento de otimização de custos geral. Ao especifique esses parâmetros, o grupo torna-se um grupo de dimensionamento de otimização de custos de instâncias mistas. Ambos os tipos são totalmente compatíveis entre si em termos de interfaces e recursos.

   Utilize um grupo de dimensionamento de otimização de custos de instâncias mistas para obter o mesmo efeito de um grupo geral específico, configure políticas adequadas. Exemplos:

   • Em um grupo de otimização de custos geral, apenas instâncias de pagamento conforme o uso são criadas.

     No seu grupo de instâncias mistas, defina Minimum Pay-As-You-Go Nodes como 0, Percentage of Pay-As-You-Go Nodes como 100 e Lowest-Cost Instance Types como 1.

   • Em um grupo de otimização de custos geral, instâncias preemptíveis têm prioridade de criação.

     No seu grupo de instâncias mistas, defina Minimum Pay-As-You-Go Nodes como 0, Percentage of Pay-As-You-Go Nodes como 0 e Lowest-Cost Instance Types como 1.

4. Clique em OK.

   Após a adição, visualize o novo grupo na página Nodes.

Modifique um grupo de nós

1. Na página Nodes, clique em no nome do grupo de nós desejado na coluna Node Group Name.

2. Na caixa de diálogo Node Group Attributes, altere as configurações do grupo e clique em Save.

   • Para grupos de nós Master, Core, Gateway e Master-Extend, modifique o nome do grupo e os grupos de segurança adicionais.

   • Nos grupos de nós Task, altere informações como nome do grupo, especificações dos nós e grupos de segurança adicionais. Ajuste também as configurações na seção Advanced Information.

Exclua um grupo de nós

1. Na página Nodes, localize o grupo de nós alvo e clique em Delete Node Group na coluna Actions.

2. Na caixa de diálogo de confirmação exibida, clique em Delete.

Modo de otimização de custos

Esse modo permite definir políticas detalhadas de controle de custos para equilibrar despesas e estabilidade.

Tópicos relacionados

• Para expandir um grupo de nós, consulte Expandir um cluster.

• Para reduzir um grupo de nós, consulte Reduzir um cluster.

• Para aumentar a capacidade do disco, consulte Expandir um disco.

• Para configure políticas de Auto Scaling, consulte Criar uma política personalizada de Auto Scaling.

• Para visualizar atividades de Auto Scaling, consulte Visualizar atividades de Auto Scaling.