E-MapReduce:Atualizar configurações de nós

Pré-requisitos

Você deve ter um cluster E-MapReduce (EMR). Para mais informações, consulte Crie um cluster.

Limitações

• Não é possível atualizar a configuração de instâncias ECS da família de instâncias de big data ou que usam SSDs locais.

• Somente a atualização de configuração de instâncias ECS em um grupo de nós é suportada. Não há suporte para downgrade.

Procedimento

1. Acesse a página Nodes.

   1. Faça login no console do E-MapReduce.

   2. Na barra de navegação superior, selecione uma região e um grupo de recursos.

   3. Na coluna Actions do cluster desejado, clique em Nodes.

2. Na página Nodes, localize o grupo de nós alvo e, na coluna Actions, escolha > Upgrade Configuration.

3. Configure as definições de atualização.

   1. Na caixa de diálogo Upgrade Configuration, configure os parâmetros.

      Parâmetro	Descrição
      Instance Type	Selecione um tipo de instância com especificações superiores. Nota Os tipos de instância disponíveis para atualização aparecem no console.
      Rolling Restart	Off (Padrão): Reinicia todas as instâncias ECS do grupo de nós simultaneamente. On: Reinicia as instâncias sequencialmente. O sistema aguarda a recuperação total de uma instância ECS e de seus services de big data antes de reiniciar a próxima.

   2. Clique em OK.

      A geração do pedido pode levar algum tempo.

   3. Pague o pedido.

      Após o pagamento, o novo tipo de instância aparece no console, mas só entra em vigor quando o processo de atualização for concluído.

      Importante

      O processo de atualização começa após o pagamento do pedido. Durante esse processo, os nós do grupo atual são reiniciados automaticamente, o que pode impactar suas cargas de trabalho de produção. Prossiga com cautela.

4. Opcional: Modifique a configuração do YARN.

   Se o YARN estiver instalado no cluster, atualize manualmente a configuração do YARN para usar os novos recursos.

   1. Na aba Services do console E-MapReduce (EMR), clique em Configure na seção YARN.

   2. Na lista suspensa Default Cluster Configuration, selecione Node Group Configuration.

      Clique na aba Configure.

   3. Na lista suspensa Select a node group., selecione o grupo de nós atualizado.

      Os grupos de nós disponíveis incluem emr-master (MASTER), emr-core (CORE) e task (TASK).

   4. Modifique a configuração de CPU.

      Na caixa de pesquisa, busque o parâmetro yarn.nodemanager.resource.cpu-vcores e modifique seu valor conforme necessário.

      Para cargas de trabalho intensivas em computação, recomenda-se uma proporção de 1:1 entre parâmetro e vCPU. Para cargas mistas, defina uma proporção de até 2:1.

      Por exemplo, se um nó de computação tem 32 vCores para uma carga intensiva em computação, defina yarn.nodemanager.resource.cpu-vcores como 32. Se o mesmo nó for usado para uma carga mista, defina o valor de yarn.nodemanager.resource.cpu-vcores entre 32 e 64.

   5. Modifique a configuração de memória.

      Na caixa de pesquisa, busque o parâmetro yarn.nodemanager.resource.memory-mb e defina seu valor como node memory*0.8, em MB.

      Por exemplo, se o nó tiver 32 GB de memória, defina yarn.nodemanager.resource.memory-mb como 26214.

   6. Salve a configuração.

      1. Na parte inferior da página, clique em Save.

      2. Na caixa de diálogo exibida, insira um Execution Reason e clique em Save.

   7. Implante a configuração.

      1. Escolha More > Configure.

      2. Na caixa de diálogo exibida, insira um Execution Reason e clique em OK.

      3. Na caixa de diálogo de confirmação, clique em OK.

         Para verificar o status da tarefa, clique em Operation History na parte superior da página. Quando o status mudar para Complete, reinicie o service.

   8. Reinicie o service.

      1. Escolha More > Restart.

      2. Na caixa de diálogo exibida, insira um Execution Reason e clique em OK.

      3. Na caixa de diálogo de confirmação, clique em OK.

         Para verificar o status, clique em Operation History na parte superior da página. Quando o status mudar para Complete, o service terá sido reiniciado com sucesso.

      Importante

      Reinicie o ResourceManager fora dos horários de pico para evitar falhas em jobs em execução.