E-MapReduce:Gerencie grupos de nós

Informações de contexto

Um grupo de nós é a unidade central. Gerencie nós de cluster no E-MapReduce. Geralmente, um grupo de nós consiste em instâncias ECS do mesmo tipo. Execute operações em um grupo de nós e gerencie em massa os nós que ele contém. Crie também grupos de nós com diferentes especificações de instância de acordo com os requisitos do seu negócio. Por exemplo, use instâncias otimizadas para memória (proporção de vCore para memória de 1 vCPU:8 GiB) para processamento offline de big data e instâncias otimizadas para computação (proporção de vCore para memória de 1 vCPU:2 GiB) para treinamento de modelos.

Para obter informações e gerencie grupos de nós nos clusters Hadoop, Data Science e EMR Studio, consulte Gerencie grupos de nós (clusters Hadoop, Data Science e EMR Studio).

Limites

• As operações descritas neste tópico aplicam-se apenas aos clusters DataLake, DataFlow, OLAP, DataServing e Custom.

• Não é possível executar Upgrade Configuration em grupos de nós Task cujo Upgrade Configuration seja Billing Method ou Pay-as-you-go.

  Para obter mais informações sobre como atualizar as configurações de nós, consulte Upgrade node configurations.

Adicionar um grupo de nós

1. Acesse a página de gerenciamento de nós.

   1. Faça logon no console do EMR.

   2. Na barra de navegação superior, selecione uma região e um grupo de recursos conforme necessário.

   3. Na coluna Actions do cluster de destino, clique em Preemptible Instance.

2. Na página Nodes, clique em Nodes.

3. No painel Add Node Group, configure os seguintes parâmetros.

   Parâmetro	Descrição
   Add Node Group	A zona do cluster é exibida por padrão. Clique em Zone para selecionar outra zona na mesma região. É possível adicionar apenas grupos de nós Task em outras zonas. Após adicionar um grupo de nós entre zonas, recomendamos o uso do recurso YARN Node Labels para particionar o cluster. Essa abordagem minimiza o impacto da largura de banda de rede instável na eficiência das tarefas, especialmente durante o processo de shuffle. Para obter mais informações, consulte Use Node Labels for node partitioning.
   View Zones	Você pode adicionar os seguintes tipos de grupos de nós: Core: um grupo de nós principal. Indicado para casos de uso com pequenos volumes de dados, como análise de logs e estatísticas de tráfego de sites. Task: um grupo de nós de computação. Recomendado para casos de uso que exigem recursos de computação temporários, como processamento em lote e limpeza de dados. Gateway: um grupo de nós de tarefa. Esta opção está disponível apenas para clusters DataLake e DataFlow com EMR-5.10.1 ou posterior e clusters Custom com EMR-5.17.1 ou posterior. Ideal para casos de uso que exigem envio frequente de jobs, como treinamento de modelos por cientistas de dados e processamento de dados por engenheiros de dados. Master-Extend: um grupo de extensão de carga. Esta opção está disponível apenas para clusters de alta disponibilidade com EMR-3.51.1 ou posterior, ou EMR-5.17.1 ou posterior. Se o nó mestre de um cluster estiver sob alta carga, adicione um grupo de nós Master-Extend e implante service em diferentes grupos de nós para reduzir a carga no nó mestre. Essa configuração é ideal para casos de uso que envolvem clusters de grande escala com alta carga no nó mestre. Nota Por padrão, nenhum service é implantado em um grupo de nós Master-Extend. Selecione os service a serem implantados nesse grupo durante a criação.
   Node Group Type	O método de faturamento do grupo de nós. Os métodos compatíveis são pagamento conforme o uso, instância spot e assinatura. Nota Apenas grupos de nós Task são compatíveis com instâncias spot.
   Billing Method	O nome do grupo de nós deve ser exclusivo no cluster.
   Components	Apenas grupos de nós Master-Extend são compatíveis com a implantação de service personalizados. É possível implantar os seguintes service: Hive: HiveMetaStore, HiveServer Kyuubi: KyuubiServer Spark: SparkHistoryServer, SparkThriftServer
   Assign Public Network IP	Define se endereços IP públicos serão atribuídos aos nós do grupo. Ative essa opção para que todos os nós do grupo recebam um endereço IP público.
   vSwitch	Especifique um vSwitch na mesma VPC durante a criação do grupo de nós. Essa configuração não pode ser alterada após a criação do grupo. Nota O vSwitch deve estar na mesma zona que o cluster.
   Additional Security Group	(Opcional) Atribua grupos de segurança adicionais ao grupo de nós. Um grupo de nós pode ter até quatro grupos de segurança adicionais.
   Instance Type	Selecione um tipo de instância de acordo com os seus requisitos. Se o método de faturamento for assinatura, selecione apenas um tipo de instância. Se o método de faturamento for pagamento conforme o uso ou instância spot e o tipo de grupo de nós for Task, selecione até 10 tipos de instância alternativos com as mesmas especificações de vCPU e memória. A especificação mínima de instância para um grupo de nós Task (grupo de nós elástico) é de 4 vCPUs e 8 GiB de memória. Não é possível selecionar um tipo de instância com especificações inferiores. As categorias de instância incluem uso geral, otimizada para memória, SSD local e outros tipos. O tipo de instância de uso geral mínimo é ecs.g7.xlarge (4 vCPUs e 16 GiB de memória), e o tipo mínimo na categoria Outros é ecs.u1-c1m2.xlarge (4 vCPUs e 8 GiB de memória).
   Storage Configuration	System Disk: selecione um ESSD ou um Ultra Disk de acordo com as suas necessidades. O tamanho do disco do sistema pode variar de 60 a 500 GiB. Recomendamos um tamanho mínimo de 120 GiB. Data Disk: selecione um ESSD ou um Ultra Disk de acordo com as suas necessidades. O tamanho do disco de dados pode variar de 40 a 32.768 GiB. Recomendamos um tamanho mínimo de 80 GiB. Nota Se você selecionar SSDs aprimorados, especifique diferentes níveis de desempenho (PLs) para eles com base na capacidade do disco, a fim de atender a diferentes requisitos de desempenho do cluster. O nível de desempenho padrão é PL1. Ao configurar o disco do sistema, selecione um SSD aprimorado dos seguintes níveis de desempenho: PL0, PL1 e PL2. Ao configurar discos de dados, selecione SSDs aprimorados dos seguintes níveis de desempenho: PL0, PL1, PL2 e PL3. Para obter mais informações, consulte Disks.
   Resource Reservation Policy	Nota Este parâmetro está disponível apenas quando Node Group Type está definido como Task e Billing Method como Pay-as-you-go. A política de reserva de recursos permite associar seus pools de capacidade privada do ECS. Acesse o console do ECS para reservar recursos. Para obter mais informações, consulte Resource Butler overview. Public Pool Only (padrão): atende às solicitações de recursos diretamente a partir dos pools de recursos públicos. Private Pool First: prioriza o provisionamento de instâncias ECS do seu pool privado. Se o seu pool privado não tiver recursos suficientes, o sistema usará o pool público. Specified Private Pool: especifica um pool privado de ECS para o cluster E-MapReduce atual.
   Automatic Compensation	Nota Este parâmetro está disponível apenas quando Node Group Type está definido como Task. Se este recurso estiver ativado, o E-MapReduce monitorará a integridade dos nós no grupo de nós. Se algum nó ficar indisponível, o E-MapReduce o liberará e crie um número igual de nós de substituição. Para obter mais informações, consulte Node compensation.
   Scaling Policy	Nota Este parâmetro pode ser configurado apenas quando Billing Method está definido como Spot Instance. Priority-based Policy (padrão) O sistema testa cada tipo de instância especificado em ordem até que crie uma com êxito. O tipo de instância final adquirido pode variar de acordo com o estoque. Cost Optimization Policy Durante um scale-out, o Auto Scaling tenta criar instâncias ECS em ordem crescente de preço unitário da vCPU. Durante um scale-in, ele remove instâncias ECS em ordem decrescente de preço unitário da vCPU. Se o método de faturamento da configuração de dimensionamento estiver definido como instância spot, o sistema priorizará a criação de instâncias spot. Se não for possível criar instâncias spot dos tipos especificados devido ao estoque ou a outros motivos, crie automaticamente instâncias de pagamento conforme o uso. Para obter mais informações, consulte Cost optimization mode.
   Graceful Shutdown	Nota Este parâmetro está disponível apenas para clusters em que o service YARN está implantado. Se ativado, durante um scale-in do grupo de nós, o sistema aguarda a conclusão das tarefas em um nó ou o fim de um tempo limite especificado antes de remover o nó. Modifique o tempo limite de desligamento normal configurando o parâmetro yarn.resourcemanager.nodemanager-graceful-decommission-timeout-secs na página do service YARN.
   Add to Deployment Set	Nota Este parâmetro está disponível para grupos de nós Core, Gateway e Master-Extend. Este recurso é desativado por padrão. Ative este recurso para que as instâncias ECS sejam implantadas em diferentes servidores físicos para garantir alta disponibilidade. Para obter mais informações, consulte Ative um conjunto de implantação.
   Custom Software Configuration	Este recurso é desativado por padrão. Ative este recurso e forneça um arquivo de configuração json para adicionar parâmetros no nível do grupo de nós para service durante a criação do grupo. Para obter mais informações, consulte Configure custom software.

   Se você não especificar os parâmetros Minimum Pay-As-You-Go Nodes, Percentage of Pay-As-You-Go Nodes ou Lowest-Cost Instance Types, o grupo de máquinas será um grupo de dimensionamento de otimização de custos geral. Se você especificar os parâmetros, o grupo de máquinas será um grupo de dimensionamento de otimização de custos de instâncias mistas. Os dois tipos de grupos de dimensionamento de otimização de custos são totalmente compatíveis entre si em termos de interfaces e recursos.

   Use um grupo de dimensionamento de otimização de custos de instâncias mistas para obter o mesmo efeito de um grupo de dimensionamento de otimização de custos geral específico configurando políticas de instâncias mistas adequadas. Exemplos:

   • Em um grupo de dimensionamento de otimização de custos geral, apenas instâncias de pagamento conforme o uso são criadas.

     No seu grupo de dimensionamento de otimização de custos de instâncias mistas, defina Minimum Pay-As-You-Go Nodes como 0, Percentage of Pay-As-You-Go Nodes como 100 e Lowest-Cost Instance Types como 1.

   • Em um grupo de dimensionamento de otimização de custos geral, instâncias preemptíveis são criadas preferencialmente.

     No seu grupo de dimensionamento de otimização de custos de instâncias mistas, defina Minimum Pay-As-You-Go Nodes como 0, Percentage of Pay-As-You-Go Nodes como 0 e Lowest-Cost Instance Types como 1.

4. Clique em OK.

   Após adicionar o grupo de nós, visualize-o na página Nodes.

Modifique um grupo de nós

1. Na página Nodes, clique em nome do grupo de nós de destino na coluna Node Group Name.

2. Na caixa de diálogo Node Group Name, modifique as configurações do grupo de nós e clique em Node Group Attributes.

   • Para grupos de nós Master, Core, Gateway e Master-Extend, modifique o nome do grupo de nós e os grupos de segurança adicionais.

   • Para grupos de nós Task, modifique informações como o nome do grupo de nós, as especificações de nós e os grupos de segurança adicionais. Ajuste também as configurações na seção Save.

Exclua um grupo de nós

1. Na página Nodes, localize o grupo de nós de destino e clique em Nodes na coluna Actions.

2. Na caixa de diálogo de confirmação exibida, clique em Delete Node Group.

Modo de otimização de custos

Este modo permite definir políticas de controle de custos mais detalhadas para equilibrar custo e estabilidade.

Tópicos relacionados

• Para fazer o scale-out de um grupo de nós, consulte Scale out a cluster.

• Para fazer o scale-in de um grupo de nós, consulte Scale in a cluster.

• Para expandir a capacidade do disco, consulte Expand a disk.

• Para configurar políticas de Auto Scaling, consulte Crie uma política de auto scaling personalizada.

• Para visualizar atividades de Auto Scaling, consulte View auto scaling activities.