E-MapReduce:Atualizar configurações de nó

Pré-requisitos

Você deve ter um cluster E-MapReduce (EMR). Para mais informações, consulte Criar um cluster.

Limitações

• Não é possível atualizar a configuração de instâncias ECS da família de instâncias de big data ou que utilizem SSDs locais.

• O sistema suporta apenas a atualização de configuração de instâncias ECS em um grupo de nós. Não há suporte para downgrade.

Procedimento

1. Acesse a página Nodes.

   1. Faça login no console do E-MapReduce.

   2. Na barra de navegação superior, selecione uma região e um grupo de recursos.

   3. Na coluna Actions do cluster desejado, clique em Nodes.

2. Na página Nodes, na coluna Actions do grupo de nós desejado, escolha > Upgrade Configuration.

3. Configure as definições de atualização.

   1. Na caixa de diálogo Upgrade Configuration, defina os parâmetros.

      Parâmetro	Descrição
      Instance Type	Selecione um tipo de instância com especificações superiores. Nota O console exibe os tipos de instância disponíveis para atualização.
      Rolling Restart	Off (Padrão): Reinicia todas as instâncias ECS do grupo de nós simultaneamente. On: Reinicia as instâncias sequencialmente. O sistema aguarda a recuperação total de uma instância ECS e de seus serviços de big data antes de reiniciar a próxima.

   2. Clique em OK.

      A geração do pedido pode levar algum tempo.

   3. Pague o pedido.

      Após o pagamento, o novo tipo de instância aparece no console, mas só entra em vigor após a conclusão do processo de atualização.

      Importante

      O processo de atualização começa após o pagamento do pedido. Durante esse processo, os nós do grupo atual são reiniciados automaticamente, o que pode impactar suas cargas de trabalho de produção. Prossiga com cautela.

4. Opcional: Modifique a configuração do YARN.

   Se o YARN estiver instalado no cluster, siga estas etapas para modificar manualmente a configuração do YARN e utilizar os novos recursos do cluster.

   1. Na aba Services do console E-MapReduce (EMR), clique em Configure na seção YARN.

   2. Na lista suspensa Default Cluster Configuration, selecione Node Group Configuration.

      Clique na aba Configure.

   3. Na lista suspensa Select a node group., selecione o grupo de nós atualizado.

      Os grupos de nós disponíveis incluem emr-master (MASTER), emr-core (CORE) e task (TASK).

   4. Modifique a configuração de CPU.

      Na caixa de pesquisa, procure o parâmetro yarn.nodemanager.resource.cpu-vcores e modifique seu valor conforme seus requisitos.

      Para cargas de trabalho intensivas em computação, recomenda-se uma proporção de 1:1 entre parâmetro e vCPU. Para cargas mistas, defina uma proporção de até 2:1.

      Por exemplo, se um nó de computação tiver 32 vCores para uma carga intensiva em computação, defina yarn.nodemanager.resource.cpu-vcores como 32. Se o nó tiver 32 vCores para uma carga mista, defina yarn.nodemanager.resource.cpu-vcores com um valor entre 32 e 64.

   5. Modifique a configuração de memória.

      Na caixa de pesquisa, procure o parâmetro yarn.nodemanager.resource.memory-mb e defina seu valor como node memory*0.8, em MB.

      Por exemplo, se o nó tiver 32 GB de memória, defina yarn.nodemanager.resource.memory-mb como 26214.

   6. Salve a configuração.

      1. Na parte inferior da página, clique em Save.

      2. Na caixa de diálogo exibida, insira um Execution Reason e clique em Save.

   7. Implante a configuração.

      1. Escolha More > Configure.

      2. Na caixa de diálogo exibida, insira um Execution Reason e clique em OK.

      3. Na caixa de diálogo de confirmação, clique em OK.

         Verifique o status da tarefa clicando em Operation History na parte superior da página. Quando o status mudar para Complete, reinicie o serviço.

   8. Reinicie o serviço.

      1. Escolha More > Restart.

      2. Na caixa de diálogo exibida, insira um Execution Reason e clique em OK.

      3. Na caixa de diálogo de confirmação, clique em OK.

         Verifique o status clicando em Operation History na parte superior da página. Quando o status mudar para Complete, o serviço terá sido reiniciado com sucesso.

      Importante

      Reinicie o ResourceManager fora dos horários de pico para evitar falhas em jobs em execução.